大模型的发展已经陷入瓶颈了吗？

近几周，关于这件事情的争论愈演愈烈。

市场的信心很重要，CEO们赶紧出来回应。

领头羊OpenAI最早发声，Altman明确表示：没有的事。

随后，Anthropic的CEO Dario Amodei和英伟达的老黄，也站出来向众人保证。

不过，包括硅谷风投大佬Marc Andreessen在内的一些人则认为，这么长时间了，也没看到什么明显的进步，表现最好的几个模型，性能也大差不差。

花儿谢了，冬天来了，又一年要过去了，GPT-5呢？

这关系到未来价值万亿美元的AI市场，如果烧钱的Scaling Law被证实回报越来越少，就会影响到当前的投资周期。

包括新的初创公司、新的数据中心、新的产品，甚至是重新启用的核电站。

为此，Business Insider采访了12位人工智能行业的前沿人士，包括初创公司的创始人、投资者，以及谷歌DeepMind和OpenAI的现任（和前任）员工， 探讨了在追求超智能人工智能（superintelligent AI  ）的过程中所面临的挑战与机遇。

AGI的内幕

预训练的难题

研究人员指出， 在人工智能开发的早期阶段（即预训练阶段），公司可能会遇到两个关键障碍。

第一个障碍是获取计算能力，具体来说就是买显卡。

这个市场主要由芯片巨头英伟达主导， 而英伟达在持续的高需求下面临着数钱的困难供应的挑战。

法国风险投资公司Singular的合伙人Henri Tilloy表示，也许你可以拿出5000万美元买GPU，但你在很可能在英伟达的供应名单上排在最后——等不起。

另一个供应问题就是训练数据。尽管每年向大模型投入更多的数据和GPU，能够可靠地产生更智能的模型， 但公司们已经耗尽了互联网上公开可用的数据。

研究公司Epoch AI预测， 到2028年，可用的文本数据可能会被完全耗尽。

Clarifai的创始人兼首席执行官Matthew Zeiler表示，互联网的规模是有限的。

多模态与私有数据

数据初创公司Encord的联合创始人Eric Landau认为，当公共数据陷入瓶颈时，就需要其他数据来源发力了。

一个例子是多模态数据，将视觉和音频信息（如照片或播客录音） 输入到AI系统中。

「这只是增加数据的一种方式（增加更多的数据模态），尽管实验室和企业已经开始用了，但还算不上是充分利用」。

Lamini平台的联合创始人兼CEO Sharon Zhou，发现了另一个尚未开发的领域：私人数据。

许多公司已经与出版商签订了许可协议，以获取他们庞大的信息资源。

例如OpenAI与Vox Media、Stack Overflow等组织建立了合作关系， 将受版权保护的数据引入自己的模型中。

Sharon Zhou说，「与我们的企业客户和初创客户的合作表明，私人数据中蕴含着许多对模型非常有用的信号。」

数据质量

目前，许多研究工作正集中在提高LLM训练数据的质量，而不仅仅是数量。

Sharon Zhou表示，研究人员以前在预训练阶段可以「对数据相对懒惰」，只需将尽可能多的数据输入模型，看看哪些有效。

「现在这种做法已经不再完全适用了，公司正在探索的一种解决方案是合成数据。」

初创公司Aindo AI的首席执行官Daniele Panfilo也相信，合成数据可能是「提升数据质量的强大工具」，因为它可以「帮助研究人员构建符合其具体信息需求的数据集」，这在AI开发的后训练阶段（post-training）特别有用。

一位前谷歌DeepMind的员工透露，Gemini已经改变了战略，从追求规模转向追求高效。

「我认为他们意识到，服务如此庞大的模型实际上非常昂贵，因此通过后训练去适配专业的下游任务是更明智的选择。」 理论上，合成数据为提升模型的知识水平提供了一种有效的方法， 使其更加精简和高效。

然而，在实际应用中，关于合成数据在提升模型智能方面的有效性，并没有达成一致的看法。

Hugging Face的联合创始人Thomas Wolf就表示，「通过合成数据Cosmopedia我们发现，在某些方面它确实有帮助，但并不是解决数据问题的灵丹妙药」。

Databricks的首席AI科学家Jonathan Frankle也认为，在合成数据方面没有「免费午餐」，并强调 「如果没有人类的监督，也没有过滤和选择哪些合成数据最相关的过程，那么模型所做的只是重复自己的行为」。

构建推理模型

仅仅关注训练部分是不够的。

前OpenAI首席科学家Ilya，表达了对于预训练模型的Scaling Law已经停滞不前的担忧，「大家都在寻找下一个突破。」

当前，行业的关注越来越多地转向推理模型（reasoning model）。在本月的微软Ignite活动上，首席执行官Satya Nadella宣布，

Scaling Law并没有遇到瓶颈，新的范式已经出现，那就是test-time compute。

——允许模型在面对复杂的用户提示时，花费更长的时间来做出响应。

比如Copilot推出的新功能：「think harder」，通过延长时间来解决更难的问题。

AI初创公司Agemo的创始人Aymeric Zhuo说，推理（reasoning） 「一直是一个活跃的研究领域」，尤其是在「行业面临数据壁垒」的情况下。

来自投资公司Balderton的Sivesh Sukumar也表示，「考虑人脑的工作方式，即使是最聪明的人也需要时间来找到问题的解决方案。」

九月份，OpenAI发布了新的推理模型o1。

「从第一原则进行推理」并不是LLM的强项，因为它们是基于「下一个单词的统计概率」来工作的。但如果我们希望LLM能够思考并解决新问题，就必须让它们进行推理。

OpenAI研究员Noam Brown在上个月的TED AI演讲中提到：「结果表明，让一个机器人在一局扑克中思考20秒的效果，和将模型规模和训练时间同时扩大100,000倍是一样的。」

未来预期

前DeepMind员工表示，「行业可能需要适应一个较慢的进步节奏。我们经历了一个疯狂的时期，模型的进步非常迅速，这种情况以 前从未出现过。今年的进步速度没有那么快，但这并不意味着出现了瓶颈。」

Lamini的Sharon Zhou对此表示赞同。她指出，规模法则是基于对数尺度而非线性尺度。换句话说，应该将AI的进步视为一条曲线， 而不是图表上的一条直线。这使得开发成本远高于我们对这项技术下一个实质性进展的预期。

「这就是我们的期望在我们想要的时间框架内无法实现的原因，同时也是为什么当能力真正出现时我们会感到惊讶的原因。」 那么，投资者和客户是否愿意等待？

参考资料：

https://www.businessinsider.com/generative-ai-wall-scaling-laws-training-data-chatgpt-gemini-claude-2024-11