【报告阅读】chatgpt-o1 技术报告阅读 | 新的迭代开始了~

OpenAI o1是通过强化学习去进行复杂推理，在它回答之前，他会经过复杂的内部思维链的思考。

经过强化训练的o1多强

1 表现

在美国数学奥林匹克预选赛中名列前500名的学生中，o1排89名

在物理、生物、化学问题的基准测试中超过人类博士水平

其实你都不需要细看每一个数据集是什么含义。

只需要相对对比就知道他有多强了

4o还是蛮厉害的吧

但是在o1 preview和o1面前简直就是一个傻子，很多准确率不是几个几个超越，而是几十几十的超越

降维打击

怪不得OpenAI都直接给他一个新的系列名称了~

2 实现方法

类似于人类在回答一个困难问题之前可能会思考很长时间，o1 在尝试解决问题时使用思维链。通过强化学习，o1 学习完善其思维链并优化所使用的策略。它学会识别和纠正自己的错误。它学会将棘手的步骤分解为更简单的步骤。当当前的方法不起作用时，它学会尝试不同的方法。这个过程显著提高了模型的推理能力。

这也可以解释为什么o1这么贵，因为很多时候，你问一个问题，他会将这个问题反复思考（思考的过程都会消耗tokens，不显示给用户罢了）

在技术报告这里其实OpenAI已经展示了怎么实现的

学习推理与 LLMs | OpenAI — Learning to Reason with LLMs | OpenAI

在第一个demo中，对比了4o和o1在解码的过程

可以点击右侧打开思维链条

你会发现非常有趣，就是o1好像在和自己聊天一样，他会不断的向自己提问，然后证明自己的问题是错误的或者是正确的，一步一步向后推进。

3 还没有达到上界？

现在最可怕的是，他其实还没有达到瓶颈期。

可以看报告中放出的这张图

可以看到随着训练时间或者测试时间的加长，准确率依然稳步上升。

有训练过模型的朋友可能知道，训练模型过程中，一般来说，最痛苦的就是准确率很快就达到瓶颈了（往往呈现先升后平），而像上图这样优美的上升曲线简直就是炼丹人的最爱。

那你可能会问，既然增加训练时间o1的性能还在上升，为什么OpenAI不继续增加训练时间看看他最终的效果？

当然，我不是内部人员我也不知道

但我大概可以猜测出，就是训练时间太长太长了。

如果你注意到横轴是log scale即对数尺度就知道了，他这个横轴时间是取了对数的，所以要想提高模型性能，你的训练时间就得指数增加，就已经不是普通人训练几小时甚至几天了，可能是按月或者年了。

这是个好消息也是个坏消息。

好消息是，模型训练依然没有到达瓶颈，OpenAI又一次证明了可能性，人们还是有机会训练出更加智慧更加聪明的AI

坏消息是，训练一次模型的成本指数增加，无论是时间成本还是显卡成本

4 思考

看完还是觉得很牛逼。

思维链还是没变，只不过原本是人类引导模型去一步一步思考，现在变成了通过强化学习让模型自己就可以一步一步反思思考。

AI技术发展我觉得不可避免

但说实话其实我真正担心的是

将这些技术用在国防，科学发现而产生的质的推进。

从而导致国与国的差异更加增大