『大模型笔记』Jason Wei: 大语言模型的扩展范式！
| Jason Wei: 大语言模型的扩展范式！ |
文章目录
- 一. What is scaling and why do it?
-
- 1. 什么是Scaling？
- 2. 为什么要Scaling？
- 二. Paradigm 1: Scaling next-word prediction
-
- 1. 下一个词预测
- 2. 极限多任务学习
- 3. Why does scaling work?
- 三. The challenge with next-word prediction
-
- 1. 链式思维提示（Chain-of-thought prompting）
- 2. 思维链提示的局限性
- 四. Paradigm 2: Scaling RL on chain-of-thought
- 五. How scaling changed AI culture & what’s next?
-
- 1. 数据方面
- 2. 评估方法
- 3. 模型类型
- 4. 团队规模
- 5. AI 的未来
- 六. 参考文献
一. What is scaling and why do it?
今天和大家分享一下OpenAI研究员Jason Wei在CIS 7000上所做的演讲。演讲的主题是关于 缩放法则，也称为扩展定律的Scaling Laws。
Jason Wei毕业于斯坦福大学，曾在Google Brain工作三年，是思维链CoT的作者，也为o1模型做出了重要贡献。他在社交媒体上也非常活跃，这次演讲内容深入浅出，值得我们关注。
在过去的几年间，人工智能取得了令人瞩目的突破，Scaling Laws在其中扮演了核心引擎的角色。那么，它是如何推动人工智能的发展，以及是否将继续推动其向前发展呢ÿ