大语言模型推理的自回归解码过程，通常需要逐个预测后续词元。来源文章介绍了一种名为推测解码（Speculative Decoding）的技术：先由较小的草稿模型预测多个可能的后续词元，再交由更大的目标模型并行验证，从而探索在保持准确性的同时加速大语言模型推理。
什么是推测解码？
推测解码是一种用于加速大语言模型推理自回归解码阶段的技术。它的核心思路并不是让目标模型逐个生成词元，而是尝试在每一轮中提前预测多个词元。
第一步：由小型草稿模型预测多个词元
在推理过程中，系统首先使用一个规模较小的草稿模型，预测接下来可能出现的多个词元。这些词元可以被理解为一份“候选答案”：草稿模型先快速给出一段预测结果，而不是只预测下一个词元。
第二步：由大型目标模型并行验证
草稿模型生成候选词元后，再由规模更大的目标模型对这些预测结果进行验证。与逐个处理不同，这些词元可以通过一次目标模型处理过程进行并行验证。
因此，推测解码形成了“小模型先猜，大模型集中检查”的协作方式。它试图减少目标模型逐词元解码所需的迭代次数，从而提升大语言模型推理速度。
推测解码要解决什么问题？
文章关注的重点，是如何在不牺牲准确性的前提下加速大语言模型推理。推测解码通过草稿模型与目标模型的协同工作，把多个词元的预测与验证结合起来，为提升推理效率提供了一种模型协同设计思路。
这项技术主要作用于大语言模型推理中的自回归解码阶段。在这一阶段，模型会根据已经生成的内容继续预测后续词元。推测解码则尝试把多个后续词元放入同一轮预测与验证流程中，以改变传统的逐步解码方式。
如何选择草稿长度与草稿机制？
来源文章指出，围绕推测解码，文章将进一步讨论如何在帕累托前沿（Pareto frontier）上选择草稿长度和草稿机制，并提出五条相关指南。
其中，草稿长度对应草稿模型一次预测多少个后续词元；草稿机制则对应系统采用怎样的方式生成这些候选词元。二者都会影响推理加速效果与准确性之间的平衡。
不过，当前素材只提到文章将提供“五条指南”，并未给出这五条指南的具体内容。因此，能够确认的是：这篇文章将草稿长度、草稿机制以及帕累托前沿作为推测解码设计中的重要考量，但具体选择方法需要结合完整原文进一步说明。
推测解码与AI模型协同设计有什么关系？
这篇文章是AI模型协同设计系列的第三篇，讨论的是如何通过模型之间的配合来改善大语言模型推理性能。
系列前文关注的方向包括：
- 模型设计与硬件适配：讨论模型设计选择如何影响吞吐量与交互性，并强调在不牺牲准确性的情况下进行面向硬件的设计。
- 注意力机制与长上下文推理：讨论查询头与键值头的分组大小、注意力头维度以及序列长度，如何影响稠密注意力的性能。
- 推测解码与模型协作：本文进一步关注如何利用草稿模型和目标模型的协同，加速大语言模型的推理过程。
从这一系列内容可以看出，AI模型协同设计并不只关注模型本身的结构，也会同时考虑硬件友好性、推理吞吐量、交互体验、上下文长度和解码效率等因素。
推测解码的核心逻辑是什么？
推测解码的核心逻辑可以概括为以下三点：
- 提前预测：由较小的草稿模型先预测多个可能的后续词元。
- 集中验证：由更大的目标模型对草稿模型生成的多个词元进行并行检查。
- 兼顾速度与准确性：在加速推理的同时，目标仍然是保持模型输出的准确性。
它并不是简单地用小模型替代大模型，而是让两个模型承担不同任务：小模型负责快速提出候选，大模型负责进行可靠验证。这样的分工，构成了推测解码用于加速大语言模型推理的基本方法。
结语：模型之间的协作，也是一种效率设计
推测解码所呈现的思路很清楚：面对大语言模型推理速度问题，不一定只能依靠单个模型不断变大，也可以通过小模型预测、大模型验证的协作方式，重新安排推理流程。关键在于，速度提升不能脱离准确性，草稿长度和草稿机制也需要在不同目标之间寻找平衡。
我认为：模型的聪明并不只体现在它能生成什么，也体现在它如何更有效率地完成生成。让不同规模的模型各自承担适合自己的工作，或许正是AI模型协同设计值得继续探索的方向。
#人工智能
© 版权声明
文章版权归作者所有，未经允许请勿转载。
