DeepSeek-R1蒸馏模型与其他模型的区别

DeepSeek在DeepSeek-V3之后发布了另一个革命性的模型，即DeepSeek-R1和我的孩子，这看起来是一个重大的发布，因为这个模型在几个基准测试中已经超越了OpenAI-o1，即SOTA推理模型。

除了DeepSeek-R1，该团队还共同发布了许多其他型号

DeepSeek-R1-Zero：DeepSeek-R1的原始版本，会犯错，但更有创意

DeepSeek-R1-Distill-Qwen系列：1.5B、7B、14B、32B。

DeepSeek-R1-Distill-Lama系列：8B、70B。

在这篇文章中，我们将深入探讨其他6个蒸馏模型。但首先

什么是蒸馏？
机器学习（ML）中的模型蒸馏是一种用于将知识从大型复杂模型（通常称为教师模型）转移到较小、更简单模型（称为学生模型）的技术。

目标是创建一个较小的模型，保留较大模型的大部分性能，同时在计算资源、内存使用和推理速度方面更高效。

这对于在资源受限的环境（如移动设备或边缘计算系统）中部署模型特别有用。

您可以在下面的帖子中了解整个过程：

什么是DeepSeek-R1蒸馏模型？
DeepSeek-R1蒸馏模型是通过蒸馏过程创建的较大DeepSeek-R 1模型的更小、更高效的版本。蒸馏涉及将更大、更强大的模型（在本例中为DeepSeek-R1）的知识和推理能力转移到更小的模型中。这使得较小的模型在推理任务上实现了有竞争力的性能，同时计算效率更高，部署更容易。

由于DeepSeek-R1模型的尺寸巨大，即671B个参数，它不可能在消费级设备上运行，因此是蒸馏模型。

1.蒸馏的目的
蒸馏的目标是使DeepSeek-R1等大型模型的推理能力能够被更小、更高效的模型所利用。这对于有限的计算资源特别有用，但仍然需要高推理性能。
蒸馏模型旨在保留DeepSeek-R1发现的强大推理模式，即使它们的参数较少。
我想他们一定已经注意到，由于DeepSeek-V3的巨大体积，普通人无法使用它，因此这次考虑发布蒸馏版本
2.蒸馏过程
蒸馏模型是通过使用DeepSeek-R1生成的800000个推理数据样本对较小的基础模型（如Qwen和Llama系列）进行微调而创建的。
蒸馏过程涉及对推理数据的监督微调（SFT），但不包括额外的强化学习（RL）阶段。这使得该过程对于较小的模型来说更高效、更容易实现。
3.蒸馏模型变体：
本文开源了基于不同规模的Qwen和Llama架构的几个蒸馏模型。这些措施包括：
DeepSeek-R1-Distill-Qwen-1.5B
DeepSeek-R1-Distill-Qwen-7B
DeepSeek-R1-Distill-Qwen-14B
DeepSeek-R1-Distill-Qwen-32B
DeepSeek-R1-Distill-Llama-8B
DeepSeek-R1-Distill-Llama-70B
4.蒸馏模型的性能：
经过提炼的模型在推理基准测试中取得了令人印象深刻的结果，通常优于GPT-4o和Claude-3.5-Sonnet等较大的非推理模型。
例如：

DeepSeek-R1-Distill-Qwen-7B达到55.5%Pass@1在AIME 2024上，超越了QwQ-32B预览版（最先进的开源模型）。

DeepSeek-R1-Distill-Qwen-32B达到72.6%Pass@1在AIME 2024和94.3%Pass@1在MATH-500上，其表现明显优于其他开源模型。

DeepSeek-R1-Distill-Lama-70B达到70.0%Pass@1在AIME 2024和94.5%Pass@1在MATH-500上，创造了密集模型的新纪录。

5.蒸馏模型的优点：
效率：蒸馏模型比原始DeepSeek-R1更小，计算效率更高，使其更容易在资源受限的环境中部署。
推理能力：尽管尺寸较小，但由于DeepSeek-R1传递的知识，提取的模型保留了很强的推理能力。
开源可用性：经过提炼的模型是开源的，允许研究人员和开发人员在各种应用程序中使用和构建它们。
6.与RL训练模型的比较：
本文将蒸馏模型与使用大规模RL训练的模型（例如DeepSeek-R1-Zero-Qwen-32B）进行了比较，发现蒸馏通常会以较低的计算成本产生更好的性能。
例如，在推理基准测试中，DeepSeek-R1-Distill-Qwen-32B的表现优于DeepSeek-R2-Zero-Qwen-34B，这表明对于较小的模型来说，蒸馏是一种更经济、更有效的方法。

如何使用DeepSeek-R1蒸馏模型？
使用Ollama（在本地使用模型）

2.使用vLLM（pip安装vLLM）

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager
DeepSeek-R1蒸馏模型弥合了高性能和效率之间的差距，使更广泛的受众能够获得高级推理能力。此次发布标志着人工智能民主化和前沿推理模型在现实世界中的应用迈出了重要一步。如果您使用的是消费级PC，我建议您尝试蒸馏型号，因为原始的R1型号很大，可能不适合。