新闻 
OpenAI塌房!Scaling law原作曝bug 万亿算力白烧
OpenAI塌房!Scaling law原作曝bug 万亿算力白烧OpenAI塌房!Scaling law原作曝bug 万亿算力白烧
上下滑动查看
Chinchilla论文后来一针见血地指出：他们对所有模型使用了「对所有模型使用了固定的训练Token数和学习率调度方案。」（fixed number of training tokens and learning rate schedule）。
这就像让幼儿园小朋友和博士生用同一张试卷、同一时间考试，然后宣称「成绩只与天赋有关」。
第二步：掩耳盗铃的LR衰减。
他们使用了余弦学习率衰减（Cosine Decay），让学习率在训练接近终点时平滑地趋近于零。
训练快到预设的终点时，学习率被人为地一点点摁到零，模型的进步自然就「平」下来了。
曲线一走平，看上去就像：这模型已经学到头了，再喂也没用了。
研究者们于是得出结论：「加数据没用了，模型已经饱和。」
这不是模型的极限，这是学习率把模型的成长之路人为掐断。它制造出一种完美的假象：性能已经到达天花板，再加数据也无用。
可我们现在知道，那些大模型根本没到头。
第三步：权威的傲慢。
第三步，也是最阴的一步：论文里写了一句，结果「基本不受学习率曲线影响」（largely independent of learning rate schedule）。
虽然包括当时在OpenAI的Diogo Almeida的不少人都隐约感觉到不对劲，但在固定token上限下，这个结论技术上正确。
[物价飞涨的时候 这样省钱购物很爽]
已经有 5 人参与评论了, 我也来说几句吧
Chinchilla论文后来一针见血地指出：他们对所有模型使用了「对所有模型使用了固定的训练Token数和学习率调度方案。」（fixed number of training tokens and learning rate schedule）。
这就像让幼儿园小朋友和博士生用同一张试卷、同一时间考试，然后宣称「成绩只与天赋有关」。
第二步：掩耳盗铃的LR衰减。
他们使用了余弦学习率衰减（Cosine Decay），让学习率在训练接近终点时平滑地趋近于零。
训练快到预设的终点时，学习率被人为地一点点摁到零，模型的进步自然就「平」下来了。
曲线一走平，看上去就像：这模型已经学到头了，再喂也没用了。
研究者们于是得出结论：「加数据没用了，模型已经饱和。」
这不是模型的极限，这是学习率把模型的成长之路人为掐断。它制造出一种完美的假象：性能已经到达天花板，再加数据也无用。
可我们现在知道，那些大模型根本没到头。
第三步：权威的傲慢。
第三步，也是最阴的一步：论文里写了一句，结果「基本不受学习率曲线影响」（largely independent of learning rate schedule）。
虽然包括当时在OpenAI的Diogo Almeida的不少人都隐约感觉到不对劲，但在固定token上限下，这个结论技术上正确。
[物价飞涨的时候 这样省钱购物很爽]
| 分享: |
| 注： | 在此页阅读全文 |
| 延伸阅读 |
推荐: