科技 个股OpenAI 前研究员曝 Scaling Law 原版存在 bug，致行业算力错配

曾在 OpenAI 从事大模型优化的研究员 Diogo Almeida 近日发表博客《Scaling Laws, Honestly》，直指人工智能行业过去五年赖以狂奔的核心理论——Scaling Law（规模法则）——其最初版本因一个 bug 而存在根本性错误。这篇博客迅速引发关注，DeepMind 研究员 Sander Dieleman 在社交媒体上转发并评论称，原始 scaling law 的错误“大概率害得业界在一堆‘体量过大、训练不足’的模型上，白白烧掉了海量算力”。

2020 年，OpenAI 的研究结论为行业定下了基调：在固定的算力预算下，应优先将资源投入扩大模型参数量，而非增加训练数据。这一论断直接塑造了 GPT-3 等一代大模型“堆参数”的形态。但 Almeida 指出，得出该结论的实验设计存在三重误导。首先，论文对所有不同规模的模型都喂食了完全相同的约 1300 亿个 tokens 数据，导致小模型被过度喂养，而真正需要海量数据的大模型却严重“营养不良”。其次，实验使用了余弦学习率衰减，在训练接近预设终点时人为将学习率压至接近零，制造出模型性能已饱和、加数据无用的假象。最后，论文声称结果“基本不受学习率曲线影响”，将有限条件下的局部真理当成了普适法则。

两年后，DeepMind 的 Chinchilla 论文推翻了 OpenAI 的结论，指出模型参数与训练数据应近乎同等重要地同步放大，并训练出参数仅 700 亿但性能反超更大模型的 Chinchilla。然而，这一“纠正”自身也非无懈可击。2024 年，有研究重新分析 Chinchilla 的数据后发现，其拟合代码同样存在 bug，导致拟合过早终止。

在理论反思层面，研究者 Adam Zachary Wasserman 指出了一个更深层的盲点：当前的 scaling law 本质上只是“英语 scaling law”。实验表明，使用相同架构和算力，法语模型达到同等语法能力的效率比英语模型高出 50 到 100 倍。原因在于英语是一种形态贫乏的语言，极度依赖从海量数据中学习分布规律，而法语、中文等形态或结构更丰富的语言在词汇层面就携带了大量明确信息。这意味着，业界基于英语制定的所有算力配比方案，可能都是在一种最低效的语言上测量出的结果，大量 GPU 算力因此被错配在了无效的规模扩张上。