|
蒸馏模型的性能可以量化估算了。 众所周知，知识蒸馏技术当前正被大模型领域广泛使用，它可以在大幅压缩模型体量的同时保持一定的性能、降低模型时延、提升模型精度，与此同时还能对知识域进行集成和迁移。 近日，苹果研究人员提出了一种蒸馏扩展定律（Distillation Scaling Laws），基于计算预算及其在学生和教师之间的分配，我们现在开始可以估算蒸馏模型的性能了。
如果要蒸馏多个学生模型，或者已有教师模型，蒸馏在计算水平上优于监督预训练，直到计算水平随着学生模型规模的增加而可预测地增长。如果要蒸馏一个学生模型且还需要训练教师模型，则应采用监督学习。此外，作者在大规模蒸馏研究中提供了深入的见解，这些见解增加了我们对蒸馏的理解，并为实验设计提供了信息。
论文标题：Distillation Scaling Laws 论文链接：https://arxiv.org/pdf/2502.08606 大模型的扩展定律（Scaling Laws）表明，如果先前训练的语言模型（LM）遵循计算最优训练范式，就可以随着计算力提升而提升。由于推理成本的持续增长，目前这种定律难以持续，人们尝试使用过度训练（其中训练数据量远大于计算最优情况）来实现小型、功能强大的模型。这些模型的构建既昂贵又耗时。 我们正在寻求与训练算力投入相匹配，但训练成本更低的模型，蒸馏是一种流行的方法。但长期以来，学界对蒸馏缺乏共识，并不了解如何分配计算资源，以产生最强大的模型。为了弥补这一知识差距，研究人员对蒸馏进行了广泛研究，学生和老师的参数范围从 1.43 亿到 126 亿，使用训练数据最多达 5120 亿 token。 研究发现：
该结果表明，当两个学习过程都有足够的数据或计算时，蒸馏不能产生比监督学习更低的模型交叉熵。但是，如果以下两个条件都成立，则蒸馏比监督学习更有效： 1. 用于学生的总计算或 token 不大于新扩展定律给出的学生大小相关阈值；2. 老师已经存在，或者要训练的老师有超出单次蒸馏的用途。 新的定律和分析有望指导 AI 社区构建更强大的模型，实现更低的推理成本和总计算成本。 蒸馏扩展率 文章概述了他们如何得出蒸馏扩展率所采取的步骤。 首先是实验设置。本文的目标是理解教师模型在蒸馏过程中的作用，因此，该研究在纯蒸馏情况下（λ = 1，公式 7）进行蒸馏，以避免数据带来的混淆。本文验证了 λ = 1 的选择能够产生与最优 λ∗ 统计相似的结果。同样，所有实验均使用蒸馏温度（τ = 1），因为该研究发现这能产生性能最佳的学生模型。
此外，对于实验数据的选择，本文结合了三种方案： 固定 M 的教师 / 学生 IsoFLOP 实验： 本文预测在固定教师模型的情况下，学生模型的参数（N_S）和训练 token 数量（D_S）之间会呈现出幂律行为。 为了在给定的计算预算内生成尽可能多样的教师模型，本文训练了六个 Chinchilla 最优教师模型，其参数范围从 1.98 亿到 77.5 亿。对于每一个教师模型，本文按照标准训练成本，将其蒸馏到具有四种 IsoFLOP 配置的学生模型中。最终得到的学生模型交叉熵如图 2 所示。作者还注意到，在某些情况下，学生模型能够超越教师模型的表现，即展现出弱到强的泛化能力。
（固定模型，变化数据） 对于一个固定的模型族，变化训练 token 的数量。 （IsoFLOP 配置） 在总计算约束下，同时变化模型大小和训练 token 的数量。 为了确保实验能够检测到这种影响，本文设定学生（N_S，D_S）是固定的，而 N_T 和 D_T 在计算约束下变化。本文进行了蒸馏实验，将四个 Chinchilla 最优（M_S = D_S/N_S ≈ 20）的学生（其参数范围从 1.98 亿到 18.2 亿），从根据四种 IsoFLOP 配置训练的教师中蒸馏出来。最终得到的学生交叉熵如图 3 所示。
这项工作代表了已知最大规模的蒸馏受控实证研究，系统消融了常见的蒸馏技术。正如监督扩展减轻了监督预训练中的风险一样，新工作为生产更小、更强大的模型提供了路线图，并增强了测试时扩展的可行性。 (责任编辑：) |
