当你把“什么是 AI 知识蒸馏？让小模型像大模型一样思考”与实际决策联系起来理解，而不是把它当作又一个 AI 流行词时，这个概念会更容易使用。本篇 AI Tools Radar 指南聚焦其运作原理、重要取舍，以及在采用工具或工作流前值得提出的问题。
AI 知识蒸馏训练一个紧凑模型去复制更大模型的行为。大模型充当教师，小模型成为学生。这种方法在降低计算需求的同时保留准确性。
企业采用它，让性能出色的模型能在手机、笔记本电脑和边缘设备上运行。该方法无需从头重新训练，就能减小模型体积并降低延迟。
要点。 • 知识蒸馏通过匹配输出，将知识从大型教师模型传递给更小的学生模型。 • 该过程提升端侧任务的效率，同时保留原有准确性的大部分。 • 企业借此降低推理成本，并通过避免持续往返云端来满足隐私目标。 • 训练完成后，学生模型可在本地运行。
想了解小模型如何交出强劲表现吗？继续阅读。
什么是 AI 知识蒸馏？ AI 知识蒸馏是一种训练方法：大型教师模型指导较小的学生模型。学生学习匹配教师的输出分布，而不只学习硬标签。
教师会生成软概率，其中包含更丰富的类别关系信息。学生最小化自身输出与这些软目标之间的差异。与单独训练学生模型相比，这种迁移通常能带来更好的泛化能力。
这一方法有三个主要特征。第一，它依赖一个已经表现良好的预训练教师模型。第二，它在训练时使用温度参数来软化概率输出。第三，蒸馏完成后，最终的学生模型可以独立运行。
知识蒸馏如何工作。 知识蒸馏遵循一系列清晰步骤。每一步都在构建从教师到学生的能力迁移。
第 1 步：准备教师模型。 教师模型已经针对目标任务完成训练。在蒸馏期间它保持固定，参数不会改变。
第 2 步：生成软目标。 教师模型处理相同的训练数据，但温度值设为大于 1。更高的温度会产生更平滑的概率分布。这些软目标揭示教师模型如何给错误类别排序。
第 3 步：以组合损失训练学生模型。 学生模型最小化由两项组成的损失：一项匹配教师的软输出，另一项匹配真实的硬标签。两项之间的平衡由加权超参数设定。
学生模型最终更小也更快。它能保留大部分准确性，因为软目标携带了硬标签所没有的额外信息。
比较不同的蒸馏方法。 Hinton 等人在奠基性论文《Distilling the Knowledge in a Neural Network》中提出的 logit 匹配，会直接对齐教师与学生之间经软化的输出概率。基于提示的方法会加入隐藏层中间特征的对齐，从而改善视觉任务中的迁移。Google AI 和 OpenAI 论文中详述的 Transformer 蒸馏则进一步采用注意力图匹配和渐进式层映射，使语言模型能保留更多能力。
现实世界中的应用。 移动语音助手使用蒸馏模型识别语音，而不必将音频发送到服务器。银行在安全环境中部署蒸馏后的欺诈检测模型。制造商则在工厂摄像头上运行蒸馏视觉模型进行质量检查。
每种场景都能受益于更低的延迟和更少的数据传输。更小的模型可以装入原始教师模型根本无法容纳的内存。
用户获得的回答仅来自他们自己采集的笔记和会议记录。学生模型部署后，无需再调用外部模型。
关于 AI 知识蒸馏的常见问题。 问：知识蒸馏在推理时需要原始教师模型吗？
答：不需要。训练结束后只有学生模型运行。教师模型只在蒸馏阶段使用。
问：学生模型相较教师模型会损失多少准确性？
答：损失因任务和模型组合而异。Hugging Face 的一项 DistilBERT 实验（经 Google AI Blog 报道）中，学生模型在体积缩小 40% 的同时保留了教师模型 97% 的准确性。
问：知识蒸馏可以用于不同的模型架构吗？
答：可以。学生不必与教师采用相同架构；损失计算只要求输出空间能够对齐。
问：知识蒸馏只适用于分类任务吗？
答：不只适用。只要采用合适的损失函数，同一原则也能用于回归、生成和嵌入任务。
问：哪类硬件最能受益于蒸馏模型？
答：手机、平板电脑和嵌入式控制器受益最大，因为这些设备的内存和功耗预算十分紧张。
温度参数 \(T > 1\) 会在训练期间压平教师模型的 softmax 分布，增加软目标的熵并揭示类别之间的相似性；在推理时，\(T=1\) 会恢复原本尖锐的分布。实践者会在留出的验证集上通过网格搜索调节 \(T\)，同时联合优化蒸馏损失与硬标签损失之间的权重系数 \(\alpha\)。
实际检验标准是：这种方法能否改善某项可重复的工作，同时不掩盖其来源、成本或失效模式。先从一项有代表性的任务开始；在错误影响重大的地方保留人工检查点；并随着模型和产品变化重新评估结果。
我们会结合一手资料、产品文档与实际使用场景，帮助你更清楚地判断工具是否适合你的工作流。