DeepSeek-R1 论文阅读总结
1. QA问答（我的笔记）
Q1: DeepSeek如何处理可读性问题？
通过构建冷启动数据（数千条长CoT数据）微调基础模型，结合多阶段训练流程（RL训练、拒绝采样生成SFT数据），并优化输出格式（如特殊标记分隔），显著提升可读性。相比仅用RL的Zero版本，改进后的R1保持了推理能力且输出更易读。
Q2: DeepSeek-R1-Zero与R1的核心区别？
-R1-Zero：纯RL训练，无监督数据，输出存在语言混杂、可读性差
-R1：引入监督学习阶段
冷启动阶段用高质量CoT数据微调
拒绝采样生成600K过滤数据（移除混合语言/冗余内容）
二阶段RL（推理任务用规则奖励，通用任务用人类偏好奖励）
Q3: 如何验证推理能力蒸馏效果？
在标准评测网站（如LiveCodeBench/Codeforces）测试，经蒸馏的小模型性能超越直接用RL训练的同规模模型。
Q4: 成本节约方法？
自进化RL减少监督数据需求
GRPO算法优化RL训练效率
复用V3训练集生成思维链
2. 论文核心贡献（做了什么）
方法论创新：提出四阶段训练框架（冷启动→推理RL→数据生成→通用能力RL）
性能突破：在数学（MATH-500 97.3%）知识任务（MMLU 90.8%）达到SOTA
工程实践：解决纯RL训练的可读性缺陷，构建首个支持人类友好CoT的RL优化模型
技术验证：证明RL可通过自我进化提升推理能力，且该能力可蒸馏至小模型
3. 关键技术路径
3.1 混合奖励机制
| 任务类型 | 奖励构成 | 目标特性 |
| 推理任务 | 准确性(70%)+过程合规性(30%) | 严谨性 |
| 通用任务 | 有用性(50%)+无害性(30%)+可读性(20%) | 安全性 |
3.2 数据生产管线
4. 当前局限性
4.1 技术瓶颈
MCTS应用失败：语言生成空间离散性导致搜索复杂度爆炸（相比围棋增长10^3倍）
过程奖励困境：
原子步骤定义模糊（如数学证明中间态）
需人工标注百万级步骤数据（成本$380K+）
奖励黑客问题频发（模型学会伪造合规步骤）
4.2 实践缺陷
5. 未来方向
短期重点
蒸馏优化：探索RL+蒸馏联合框架（当前仅用SFT）
架构改进：
动态上下文窗口（当前固定4K）
混合专家系统（MoE）提升工程能力
长期愿景
自进化系统：构建完全闭环的RL训练生态（人工标注量<1%）
多模态推理：扩展至视觉-语言联合推理场景
安全增强：研发可解释的奖励模型（当前黑盒率>92%）