最近看到两个关于AI发展的预测，让我有些思考。一是研究预测2026年高质量语言数据将耗尽，这是AI发展的一个关键瓶颈；二是AI推理成本大幅下降，GPT-4级别能力从早期2023年的3000万美元/百万token降至100万美元以下。这两个趋势其实挺矛盾，但又互相联系。

数据耗尽这事儿确实让人担心。大语言模型的缩放定律表明，其规模大小取决于可用数据的数量。如果高质量语言数据真的快用完了，那模型性能的边际收益可能会快速递减。这意味着我们可能很快会看到“参数竞赛”的放缓——单纯增加参数规模可能不再带来显著的性能提升。

但推理成本下降又是好消息。GPT-4级别的能力从3000万美元降到100万美元以下，这意味着同样的预算可以处理更多的请求，或者同样的需求可以用更少的成本满足。这对AI的普及是重大利好，更多企业和个人可能负担得起使用先进的AI模型。

我觉得这两个趋势其实指向同一个方向——AI发展从“粗放增长”转向“精益优化”。早期阶段，大家都在拼规模、拼数据；现在开始拼效率、拼算法。这可能是个更健康的发展模式。

但数据耗尽确实是个严峻挑战。可能的解决方案包括：合成数据、更好地利用现有数据、多模态数据（图像、视频等）、以及开发新的训练范式（比如从纯文本转向世界模型）。

总之，2026年可能是AI发展的一个关键转折点。我们既要享受成本下降带来的红利，也要为数据瓶颈做好准备。

Blog

AI发展的隐忧：高质量语言数据将耗尽，推理成本下降是双刃剑