8K样本在DeepSeek-R1-7B模型上的复现效果

7B Model and 8K Examples: Emerging Reasoning with Reinforcement Learning is Both Effective and Effic (notion.site)

港科大助理教授何俊贤的团队以Qwen2.5-Math-7B（基础模型）为起点，直接对其进行强化学习。整个过程中，没有进行监督微调（SFT），也没有使用奖励模型。最终，模型在AIME基准上实现了33.3%的准确率，在AMC上为62.5%，在MATH上为77.2%。这一表现超越了Qwen2.5-Math-7B-Instruct，且可以和使用超过50倍数据量和更复杂组件的PRIME和rStar-MATH相媲美。结果说明，模型在复杂的数学推理上取得了十分优秀的结果。

Qwen2.5- 7 B-SimpleRL-Zero是直接从基础模型进行简单的RL训练，仅使用8K MATH示例。与基础模型相比，它平均获得了近20个绝对点的收益。与具有相同8K数据SFT的Qwen2.5-Math-7 B-Base相比，RL具有更好的泛化能力，绝对高出22%。此外，Qwen2.5- 7 B-SimpleRL-Zero的平均性能优于Qwen-2.5-Math-7 B-Instruct，并且与最近发布的Eurus-2- 7 B-PRIME和rStar-Math-7 B大致相当，后者也基于Qwen-2.5-Math-7 B。

 其中，Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基础模型上仅使用纯PPO方法训练的，仅采用了MATH数据集中的8K样本。Qwen2.5-7B-SimpleRL则首先通过Long CoT监督微调（SFT）作为冷启动，然后再进行强化学习。在这两种方法中，团队都只使用了相同的8K MATH样本。

大概在第40步的时候，模型开始生成自反射模式，即DeepSeek-R1论文中的“aha moment”。模型的响应中，出现了自我反思。

在验证中，模型还显现了较长的CoT推理能力和自我反思能力。

有趣的是，尽管研究者先进行了long CoT SFT，但在强化学习初期仍然观察到输出长度减少的现象。他们推测，这可能是因为从QwQ提取的推理模式不适合小型策略模型，或超出了其能力范围。因此，模型选择放弃这种模式，转而自主发展新的长链式推理方式。