多模态在大模型工程上很有前景 每日精选

5 月 17 日，由 NVIDIA 初创加速计划和 TGO 鲲鹏会主办，天府软件园、紫光数码、神策数据、世纪互联、扬帆出海、亚马逊云科技等协办的“科技 + 资本”双轮驱动的 ChatGPT & LLM 高端闭门会，在成都天府软件园召开。

本次闭门会安排 8 场主题演讲，2 场圆桌分享，以及 10 家 AIGC 领域优秀创业项目面向近百位投资人现场路演。昆仑万维（300418）CEO方汉与行业从业者、创业者共探生成式 AI 的潜能与瓶颈。

以下为方汉精华观点

(资料图片)

1

生成式AI的瓶颈与潜能

从数据与技术两个角度来看，我认为老技术没有壁垒。现在所有的新技术都在踊跃出现。我观察到，目前各种论文、所有最创新的研究是在读博士生开展的，目前所有基于大模型的创新都是在读博士甚至硕士做出来的，很多技术迭代非常快，谁跑得更快，谁就有机会。

老的数据门槛仍然非常高，所有大模型都需要行业数据。我们知道，行业数据都是被各个行业巨头所垄断的，这种数据有一个问题，它是老的格式数据，如何把老的数据尽快转化为大模型能够处理的新数据，这对于各行各业都是一个关键的问题。

举个例子，OpenAI的机密其实是它如何处理数据。例如，用大模型控制前线美军小队完成一个战斗任务，而且这个战斗任务持续几个小时，非常复杂，为什么能做这件事情，因为美军有一个习惯，会把每次战斗做非常详细的Report，大量的Report是非常好的行业数据，能够模拟人类做决策。

而行业数据普遍存在的问题是什么？很多行业数据往往只有条件和结果，没有过程。这导致了大模型只能背结果，它不知道如何达到这个结果，缺乏过程。所有的行业，如果要把过程给补上，这项工作是非常痛苦的，但是这项工作不得不做。

因此，我认为行业大模型的价值其实不在于做大模型本身，数据层面反而是一个特别苦、特别脏的活，所有的行业都要走一遍这个过程。

至于大模型未来的商业模式，太阳底下无新事，无外乎是降本增效。

2

行业如何落地大模型？

对于行业而言，我认为可以尽快拥抱大模型，做自己行业的专有大模型。

例如，医疗行业，我觉得分两种公司，一种是现在它有很多专有的行业数据，这个是必须的；

另外，如果没有专有数据，那么有一个蓝海，英文行业数据的知识迁移通过大模型来实现目前非常容易，这对中小公司创业很有帮助。

我对游戏行业比较熟悉，我非常不建议用AIGC在游戏行业的2B应用。我觉得，所有人更应该关注的是如何用AIGC技术提高游戏性，这个得到的回报永远是最大的。

3

看好多模态在大模型工程上的前景

人类所有的智慧绝大部分是用文字记录，现在多模态的图像、视频包含人类智慧的含量特别少。大家平时在短视频平台看到的内容大部分是娱乐八卦信息，有多少智慧在里面？含量是非常少的。

我的观点，多模态大模型不会增加对人类智慧的应用，大模型研发到末期了，人类的高质量的语料快用完了。行业现在只是想办法把这些高质量的文字砸出更多的价值。

但是从工程角度来说，图片跟视频这种多模态大模型应用上就特别有价值。我们做多模态大模型，能够挖掘出来更多目前文本大模型不具备的一些工程能力，但是在人类智慧上，进步没有那么大。

但我们不用追求形式上的完美，有可能它本来就是不完美的。我是核物理专业，我了解爱因斯坦包括杨振宁最后的工作，都是把集中基本力统计起来，但并不妨碍我们做出各种各样花里胡哨的工程上的应用。所以，我很看好多模态大模型在工程上的前景，但我不认为它们能够带来大模型在智慧上的跃进。

最后，大模型领域的创业者，一定要寻找用户的刚需，快速挖到自己的第一桶金，要快速迭代、不断试错，不要只钻一个方向。

独特思考，快速失败。

关键词：