DeepSeek是如何通过“蒸馏”技术打造自己的AI模型

1 引言：

最近，外媒对中国公司——DeepSeek进行了猛烈抨击，指控其采用了所谓的“蒸馏”（Distillation）技术，涉嫌抄袭甚至作弊。那么，什么是“蒸馏”技术？

在人工智能领域，大型语言模型（LLM）无疑是近年来最耀眼的技术突破之一。然而，这些拥有数百亿甚至上千亿参数的庞然大物，虽然性能卓越，却也因其高昂的计算成本和资源需求而难以普及。如何让这些“巨无霸”级别的模型走进千家万户？答案就在于一种被称为知识蒸馏的技术。

2 满血的 DeepSeek 现在有多强

目前根据官方的说法，DeepSeek R1 模型的能力在无损的最大参数量模型（671B）下，与 O1 模型齐名，整体能力在开源模型中达到了非常优秀的效果。然而，由于是通过蒸馏的方式进行模型知识转移，且模型本身参数量不大，因此在成本优化上确实能够取得很好的效果。

可以看到我们基本是在第一梯队了，很强 👍🏻。

目前大家可以在官网体验这个优秀的模型，官网默认的对话模型已经升级为 DeepSeek-V3；勾选了深度思考的模型为新模型 DeepSeek-R1。

推荐大家在一些复杂的问题上多使用 深度思考 ， 可以看到开启深度思考后，DeepSeek在一些问题的思考方式和角度也是有很多学习的过程。

3 什么是蒸馏？

知识蒸馏是一种将复杂的大模型（教师模型）的知识迁移到小型高效模型（学生模型）的方法。通过这种方式，小模型不仅能够继承大模型的强大能力，还能以更低的成本、更快的速度运行。这就像是一位经验丰富的老师将自己的智慧传授给学生，使他们能够在有限的时间内掌握核心技能。

3.1 蒸馏 ≠ 抄袭

很多人一听到“蒸馏”就认为这是抄袭，但事实并非如此。蒸馏技术的核心在于知识的迁移，而不是照搬模型的架构或代码。

• 老师模型：比如 OpenAI 的 GPT。
• 学生模型：DeepSeek 开发的新模型。

通过蒸馏，学生模型学习的是老师的“知识”，而不是老师的“长相”。这就像是你去上一门课，学到的是知识点，而不是老师的讲课方式。

3.2 蒸馏的过程

蒸馏过程可以分为以下几个步骤：

1. 训练教师模型：首先需要一个性能强大的大型模型作为“老师”，比如DeepSeek 671B大模型。这个模型通常经过海量数据的训练，具备极高的准确率。
2. 准备学生模型：接下来设计一个小巧灵活的学生模型，比如DeepSeek 1.5B小模型。这个模型结构简单、参数少，但潜力巨大。
3. 知识传递：学生模型通过模仿教师模型的输出或中间特征来学习。例如，教师模型可能会生成一个包含多个可能性的概率分布（称为“软标签”），而学生模型则尝试复制这个分布。
4. 优化调整：最后，通过一系列损失函数和训练策略，确保学生模型尽可能接近教师模型的表现。

这个过程有点像你在学习一门新技能时，不断向高手请教，然后自己练习改进的过程。

4 为什么我们需要知识蒸馏

尽管大模型性能优越，但它们存在明显的局限性：

• 高计算成本：运行一次推理可能需要数十甚至上百个GPU，普通用户根本无法负担。
• 内存占用大：许多设备（如手机、嵌入式系统）根本没有足够的存储空间支持这些模型。
• 实时性差：由于计算量庞大，大模型往往无法满足实时响应的需求。

相比之下，经过蒸馏的小模型则可以轻松部署在各种场景中，无论是智能手机还是自动驾驶汽车，都能流畅运行。更重要的是，这些小模型还保留了大部分原始模型的能力，真正实现了“鱼与熊掌兼得”。

5. DeepSeek做了什么特别的事

5.1 数据蒸馏与模型蒸馏结合——双管齐下的创新

传统的知识蒸馏主要关注模型层面的迁移，即学生模型模仿教师模型的输出。然而，DeepSeek 另辟蹊径，将数据蒸馏引入其中，形成了独特的“双轨制”蒸馏方法。

数据蒸馏的作用

数据蒸馏是指通过对训练数据进行增强、伪标签生成等操作，提升数据的质量和多样性。例如，教师模型可以对原始图像进行旋转、裁剪等处理，从而生成更多样化的样本。这些高质量的数据为学生模型提供了更好的学习材料，使其能够更快速地成长。

模型蒸馏的优化

与此同时，DeepSeek还在模型蒸馏方面进行了大量创新。例如，他们采用了一种叫做 监督微调（SFT） 的方法，用教师模型生成的80万个推理数据样本对学生模型进行微调。这种方法避免了传统强化学习阶段的冗长训练，显著提高了效率。

DeepSeek开源了基于不同大小的 Qwen 和 Llama 架构的几个提炼模型。这些包括：

• DeepSeek-R1-Distill-Qwen-1.5B
• DeepSeek-R1-Distill-Qwen-7B
• DeepSeek-R1-Distill-Qwen-14B
• DeepSeek-R1-Distill-Qwen-32B
• DeepSeek-R1-Distill-Llama-8B
• DeepSeek-R1-Distill-Llama-70B

我本地部署了一个 7B 的模型，感觉参数太少了，整体来说和官网的完整体相比差很多。

5.2 高效知识迁移策略——不只是模仿，还有创造

除了上述两点，DeepSeek 还提出了一系列高效的知识迁移策略，包括基于特征的蒸馏和特定任务蒸馏。前者通过提取教师模型中间层的特征信息，帮助学生模型更好地理解数据的本质；后者则针对不同的应用场景（如文本生成、机器翻译等）进行针对性优化。

这些策略使得 DeepSeek 的蒸馏模型在实际应用中表现出色。例如，DeepSeek-R1-Distill-Qwen-7B 在AIME 2024上实现了55.5%的 Pass@1 ，超越了 QwQ-32B-Preview （最先进的开源模型）。这样的成绩证明了蒸馏技术的巨大潜力。

6 蒸馏技术的社会意义——从教育到产业变革

6.1 “教会学生，饿死师傅”的悖论

有人担心，知识蒸馏会导致技术垄断者失去竞争优势。但实际上，这种情况很难发生。因为即使模型开源，背后的数据、算法和硬件基础设施仍然构成了难以逾越的壁垒。

更重要的是，蒸馏技术实际上促进了整个行业的进步。通过共享知识，更多的企业和个人得以参与到AI的研发中，从而推动了技术创新的加速。

6.2 AI普惠时代的到来

蒸馏技术的最大贡献在于降低了AI的门槛。过去，只有少数科技巨头才能承担起研发和部署大模型的成本。而现在，任何一家初创公司甚至个人开发者都可以借助蒸馏技术构建自己的AI解决方案。

这种变化不仅仅局限于技术领域，还将深刻影响我们的日常生活。从智能家居到医疗诊断，从教育辅导到娱乐推荐，AI正以前所未有的速度渗透到各个角落。

知识蒸馏技术的出现标志着AI进入了一个全新的时代。在这个时代里，我们不再需要依赖昂贵的硬件和复杂的算法，就能享受到AI带来的便利。

7 OpenAI 推出 o3-mini 应战 DeepSeek

OpenAI 首席执行官奥特曼近日公开表示，将重新思考 OpenAI 的开源策略。他提到：“我个人认为我们在历史上可能站在了错误的一边，必须找到不同的开源策略。但并不是 OpenAI 的每个人都同意这种观点，这也不是我们目前的首要任务。”

面对 DeepSeek 的横空出世，OpenAI 相继推出全新推理模型 o3-mini 和 Deep Resarch 应战。

奥特曼在发文中强调，o3-mini 在测试中的结果已经超过了 R1。

简而言之，DeepSeek 最核心的优势在于其效率和优化能力。
抛开数据量和能耗谈性能都是耍流氓？

8 参考文章

• 揭秘DeepSeek是如何通过“蒸馏”技术打造自己的AI模型？
• DeepSeek懶人包｜MLA架構強在哪？什麼是知識蒸餾？6大QA解密DeepSeek效應
• 白话科普 | DeepSeek的蒸馏技术到底是什么？90%的人都没搞懂，但西方却抓着不放！
• DeepSeek 开源图片生成模型 Janus