MIT最近提出了一项新方法，可以显著提高推理大语言模型的训练效率。这个方法利用计算停机时间来加速训练过程，在多个推理LLMs上测试，训练速度提升了一倍，同时保持了准确率。

这消息让我挺兴奋的。训练大模型一直是烧钱的游戏，如果能将效率翻倍，意味着同样的预算可以训练更大或更多的模型，或者同样的模型可以用一半的时间和成本训练出来。这对于整个AI行业来说都是重大利好。

方法的核心思想挺巧妙——在等待大模型进行复杂推理的时候，GPU通常会有空闲时间。MIT的方法就是利用这些“停机时间”来训练一个较小的“教师模型”，让这个教师模型去预测大模型的输出。大模型再验证这些预测，只保留正确的。这样，大模型就不需要自己进行所有推理，可以把很多工作“外包”给教师模型。

我觉得这个方法有几个重要意义：一是它降低了训练大模型的门槛，更多研究机构和企业可能负担得起训练。二是它可能改变训练范式——不是所有东西都要从头训练，而是可以充分利用已有模型的推理能力。三是它为“模型蒸馏”提供了新思路，用小模型模拟大模型的行为可能成为更普遍的做法。

当然，这个方法还在研究阶段，实际效果如何还需要更多验证。但它至少说明，在单纯增加算力之外，算法和训练方法的创新同样重要，甚至可能更重要。

Blog

MIT新方法让LLM训练效率翻倍，这是训练成本拐点吗？