科技 個股OpenAI 前研究員曝 Scaling Law 原版存在 bug，致行業算力錯配

曾在 OpenAI 從事大模型優化的研究員 Diogo Almeida 近日發表博客《Scaling Laws, Honestly》，直指人工智能行業過去五年賴以狂奔的核心理論——Scaling Law（規模法則）——其最初版本因一個 bug 而存在根本性錯誤。這篇博客迅速引發關注，DeepMind 研究員 Sander Dieleman 在社交媒體上轉發並評論稱，原始 scaling law 的錯誤“大概率害得業界在一堆‘體量過大、訓練不足’的模型上，白白燒掉了海量算力”。

2020 年，OpenAI 的研究結論為行業定下了基調：在固定的算力預算下，應優先將資源投入擴大模型參數量，而非增加訓練數據。這一論斷直接塑造了 GPT-3 等一代大模型“堆參數”的形態。但 Almeida 指出，得出該結論的實驗設計存在三重誤導。首先，論文對所有不同規模的模型都餵食了完全相同的約 1300 億個 tokens 數據，導致小模型被過度餵養，而真正需要海量數據的大模型卻嚴重“營養不良”。其次，實驗使用了餘弦學習率衰減，在訓練接近預設終點時人為將學習率壓至接近零，製造出模型性能已飽和、加數據無用的假象。最後，論文聲稱結果“基本不受學習率曲線影響”，將有限條件下的局部真理當成了普適法則。

兩年後，DeepMind 的 Chinchilla 論文推翻了 OpenAI 的結論，指出模型參數與訓練數據應近乎同等重要地同步放大，並訓練出參數僅 700 億但性能反超更大模型的 Chinchilla。然而，這一“糾正”自身也非無懈可擊。2024 年，有研究重新分析 Chinchilla 的數據後發現，其擬合代碼同樣存在 bug，導致擬合過早終止。

在理論反思層面，研究者 Adam Zachary Wasserman 指出了一個更深層的盲點：當前的 scaling law 本質上只是“英語 scaling law”。實驗表明，使用相同架構和算力，法語模型達到同等語法能力的效率比英語模型高出 50 到 100 倍。原因在於英語是一種形態貧乏的語言，極度依賴從海量數據中學習分佈規律，而法語、中文等形態或結構更豐富的語言在詞彙層面就攜帶了大量明確信息。這意味著，業界基於英語制定的所有算力配比方案，可能都是在一種最低效的語言上測量出的結果，大量 GPU 算力因此被錯配在了無效的規模擴張上。