浅解码码策略与投机解码
一、解码策略:从 logits 到 token
1.1 核心问题
模型输出的是整张词表的 logits(形状 [vocab_size],如 32000 个数),怎么把它变成下一个 token?
-
永远选最高分(Greedy)→ 输出死板、重复
-
完全随机采样 → 容易失控、胡言乱语
解码策略要做的,就是在”确定性”和”多样性”之间设定一套可控规则。
1.2 三个核心策略
| 策略 | 公式 | 作用 | 直觉 |
|---|---|---|---|
| Temperature | logits / T | 调分布形状 | T<1 变尖锐(更确定),T>1 变平缓(更随机) |
| Top-K | 保留分数最高的 K 个 | 固定数量截断 | 其余 logits 置 −∞,不管分布形状 |
| Top-p (Nucleus) | 累积概率超过 p 即截断 | 动态截断 | 分布尖锐时少留,平缓时多留 |
区别: Top-K 是固定数量,Top-p 是动态数量——后者能根据分布形状自适应。
1.3 解码流程
Logits → Temperature → Top-K → Top-p → Softmax 重归一化 → Multinomial 采样 → next token顺序不能乱:温度调节影响分布形状,必须在截断之前做。通常先 K 后 p。
1.4 Top-p 实现难点
以词表 5 个词、概率 [0.5, 0.3, 0.1, 0.05, 0.05]、阈值 p=0.85 为例:
- 降序排序,记住原始索引
- 算 softmax 得概率,再算 cumsum:
[0.5, 0.8, 0.9, 0.95, 1.0] - 找超过 0.85 的位置:
[False, False, True, True, True] - 向右平移一位:保留第一个超过阈值的 token,掩码变
[False, False, False, True, True] - 对应位置 logits 置 −∞
scatter_恢复原始索引顺序
为什么要平移? 累加和刚超过 p 的那个 token 是”刚好够”的临界点,必须保留,否则核会变小导致采样失真。
1.5 代码参考
def apply_temperature(logits, temperature): temp = max(temperature, 1e-6) # 防除零 return logits / temp
def apply_top_k(logits, top_k): if top_k <= 0 or top_k >= logits.size(-1): return logits kth_values, _ = torch.topk(logits, top_k, dim=-1, largest=True, sorted=True) kth_values = kth_values[..., -1:] # 第 K 大的值 return torch.where(logits < kth_values, torch.tensor(float('-inf')), logits)
def apply_top_p(logits, top_p): if top_p <= 0.0 or top_p >= 1.0: return logits sorted_logits, sorted_indices = torch.sort(logits, descending=True) cumulative_probs = torch.cumsum(F.softmax(sorted_logits, dim=-1), dim=-1) sorted_indices_to_remove = cumulative_probs > top_p # 向右平移,保留临界 token sorted_indices_to_remove[..., 1:] = sorted_indices_to_remove[..., :-1].clone() sorted_indices_to_remove[..., 0] = 0 sorted_logits[sorted_indices_to_remove] = float('-inf') return torch.zeros_like(logits).scatter_(dim=-1, index=sorted_indices, src=sorted_logits)
def decode_next_token(logits, temperature=0.7, top_k=50, top_p=0.9): logits = apply_temperature(logits, temperature) logits = apply_top_k(logits, top_k) logits = apply_top_p(logits, top_p) probs = F.softmax(logits, dim=-1) return torch.multinomial(probs, num_samples=1)二、投机解码:减少大模型逐 token 调用
2.1 核心问题
自回归生成最慢的地方,不是一次前向有多复杂,而是大模型必须一个 token 一个 token 串行走。前面 Flash Attention 和 PagedAttention 解决了”单次更快/更省显存”,投机解码走另一条路:能不能先让小模型多猜几步,再由大模型一次性并行验证?
2.2 核心机制:草稿-验证
Draft Model(小)→ 候选序列 x₁,x₂,...,x_K → Target Model(大)并行验证 → 接受-拒绝逐个判定-
草稿模型:小而快,先自回归猜 K 个 token
-
目标模型:大而准,对这 K 个位置一次性并行算出概率
-
验证循环:逐个比较 p(x) 和 q(x),能接受就连续前进,拒绝时立刻 break
2.3 接受概率公式(核心)
p(x):大模型概率,q(x):小模型概率
| 情况 | 条件 | 接受概率 | 行为 |
|---|---|---|---|
| A:必接受 | p ≥ q | α = 1 | 大模型认为 token 足够合理,直接接受,不用掷硬币 |
| B:按概率接受 | p < q | α = p/q < 1 | 小模型过于激进,掷硬币决定;拒绝则立刻 break |
为什么 B 要校正: 小模型概率 q 偏高(它觉得这个 token 很可能),但大模型概率 p 偏低(大模型觉得不太可能)。直接接受会把小模型的偏差带进来,所以用 p/q 压低接受率。
2.4 为什么无损
拒绝时停止草稿链,交还大模型重新采样。最终输出分布 = 纯大模型自回归生成,数学上严格等价。
关键约束: 后续草稿 token 都建立在前缀被接受的前提上。一旦某个 token 被拒绝,后面猜的全作废——这是”带终止条件的接受-拒绝采样”。
2.5 代码参考
def speculative_verify(draft_probs, target_probs, draft_tokens): """ draft_probs: 小模型概率 [K, vocab_size] target_probs: 大模型概率 [K, vocab_size] draft_tokens: 小模型采样的 K 个 token_id 返回: 被接受的 token 列表 """ accepted_tokens = [] for i in range(len(draft_tokens)): token_id = draft_tokens[i] p = target_probs[i, token_id].item() q = draft_probs[i, token_id].item()
if p >= q: # 情况 A:必接受 accepted_tokens.append(token_id) else: # 情况 B:按 p/q 掷硬币 r = torch.rand(1).item() if r < p / q: accepted_tokens.append(token_id) else: break # 拒绝,停止后续验证 return accepted_tokens2.6 加速来源
-
大模型从”K 次串行前向”变成”1 次并行前向”
-
草稿模型虽小,但猜对的部分都算白赚
-
瓶颈从”大模型调用次数”转移到”草稿命中率”
三、二者的联系:单步质量 → 吞吐加速
| 解码策略 | 投机解码 | |
|---|---|---|
| 解决的问题 | 选哪个 token(单步质量) | 怎样更快生成更多 token(吞吐加速) |
| 关注层面 | 单次采样的分布控制 | 跨 token 的调用次数优化 |
| 改变分布吗 | 会(温度/截断改变生成风格) | 不会(最终分布严格等价大模型) |
| 依赖关系 | 投机解码的草稿/目标模型内部都要用解码策略的采样 | 解码策略是投机解码的子组件 |
递进关系: 解码策略是投机解码的基础——投机解码里草稿模型和大模型各自的采样,用的就是 temperature/top-k/top-p 这套流水线。先学会”怎么选 token”,才能理解”怎么批量验证加速”。
与前面内容的呼应
这四块从不同维度压缩自回归推理的延迟:
| 维度 | 对应内容 | 解决什么 |
|---|---|---|
| 单次前向更省显存 | FlashAttention | N×N 中间矩阵不落 HBM |
| 历史状态更省显存 | KV Cache | 减少/管理要存的 K/V |
| 选 token 更准 | 解码策略 | logits → token 的分布控制 |
| 调大模型更少 | 投机解码 | 小模型先猜,大模型批量验证 |
四、速记
解码流水线: logits → /T → Top-K → Top-p → Softmax → Multinomial 顺序铁律:先 Temperature 再截断,最后归一化采样
Top-p 实现六步: sort降序 → softmax+cumsum → 找超阈值 → 右移一位 → 置-inf → scatter_恢复
投机解码接受概率: α(x) = min(1, p(x)/q(x)) p ≥ q → 必接受 p < q → 以 p/q 掷硬币,拒绝则 break
无损保证: 拒绝时停止草稿链 → 大模型重采样 → 最终分布 = 纯大模型自回归
四块加速维度: FlashAttention → 单次前向显存 KV Cache → 历史状态显存 解码策略 → 单步采样质量 投机解码 → 大模型调用次数支持与分享
如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!












