浅解大模型训练中的数据格式与混合精度
大模型训练推理中各种数据格式其实就是不同类型的浮点数,而一个浮点数由三部分组成,从高位到低位依次是:
┌───────────────┬──────────────────────────┬─────────────────────────────────┐│ 符号位 (S) │ 指数位 (E) │ 尾数位 (M) ││ 1 bit │ E bits │ M bits │└───────┬───────┴────────────┬─────────────┴────────────────┬────────────────┘ │ │ │ │ │ └── 决定「数值精度」 (有效数字多少) │ └───────────────────────────────── 决定「动态范围」 (最大/最小值跨度) └──────────────────────────────────────────────────── 决定「正负符号」 (0 为正, 1 为负)而不同数据格式的区别见下表:
| 格式 | 总 bits | 符号 S | 指数 E | 尾数 M | 最大值 | 精度 | 典型用途 |
|---|---|---|---|---|---|---|---|
| FP32 | 32 | 1 | 8 | 23 | 3.4e38 | 高(7位十进制) | 基准测试/调试/优化器主权重 |
| FP16 | 16 | 1 | 5 | 10 | ≈65504 | 中(3位十进制) | 推理加速(TensorRT/vLLM) |
| BF16 | 16 | 1 | 8 | 7 | 3.4e38 | 中低(2位十进制) | 大模型训练主流(A100/H100/TPU) |
| FP8-E4M3 | 8 | 1 | 4 | 3 | 小 | 低 | H100 前向传播 / 激活值量化 |
| FP8-E5M2 | 8 | 1 | 5 | 2 | 中 | 极低 | H100 反向传播 / 梯度量化 |
| INT8 | 8 | — | — | — | [-128,127] | 靠缩放 | 量化推理 |
| INT4 | 4 | — | — | — | [-8,7] | 极靠缩放 | LLM 权重量化 |
指数位越大,该数据格式能表示的数值范围越大,训练时可以很好的避免数值上溢的问题。尾数位越大,这种数据格式可以表示的小数有效数字越多,表示的数值精度越大。
通过一个问题进一步了解 FP16 与 BF16。
为什么现代大模型预训练(如 LLaMA)大多转向了 BF16,而不再首选 FP16?
FP16 指数位为 5,尾数位是 10,他能表示的数值最大值有限(最大为 65504),在大模型训练中会出现以下两个问题:
- 上溢问题(主要痛点):Attention 的 logits、未归一化的激活值、或某些层的梯度容易超过 65504,造成上溢变成
NaN,一旦出现NaN,会立即传播到整个模型,导致训练崩溃。这是 FP16 训练的最大障碍。 - 下溢问题(次要):反向传播中的小梯度(如 10⁻⁷ 量级)可能因精度不足被截断,影响参数更新。
为了解决 FP16 带来的问题,这时候就需要进行工程上的优化,引入 Loss Scaling(损失缩放):
- 原理:在反向传播前放大损失值(如乘以 1024),将小梯度放大到 FP16 可表示范围,计算完成后再缩小回来,从而缓解下溢。
- 局限:只能解决梯度的下溢,无法解决前向传播中的上溢;且缩放因子需要动态调整(检测溢出后减小,长期无溢出时增大),增加了工程复杂度。
- 历史成功:早期的 BERT、GPT-2 等模型在 V100(仅支持 FP16 Tensor Core)上通过精心调优仍实现了稳定训练。
由于 FP16 的数据格式训练太麻烦,BF16 就诞生了,它的指数位为 8,尾数位是 7,这样它能像 FP32 那样表示很大的数值范围,,在实际训练中几乎不会上溢——这是相比 FP16 的决定性优势。而 BF16 损失的数值精度微不足道,因为训练是长期累积的统计过程,单步的微小舍入误差会被后续更新”平滑”掉。
所以,用较小的精度代价换取极大的数值稳定性,BF16 成为了现代大模型预训练(如 LLaMA、GPT-3、PaLM)的主流选择。
此外,A100 起原生支持 BF16 Tensor Core。
FP8 的出现 —— NVIDIA H100(Hopper 架构)专属
随着模型越来越大,16-bit 已经满足不了工业界的胃口了。NVIDIA 在 H100 中引入了极其激进的原生 FP8 计算。它仅在 8 bits 空间努力同时兼顾范围和精度 → 拆成两种独立变体,训练时前向传播与后向传播各用一个:
前向/激活 (E4M3) 反向/梯度 (E5M2) ┌─┬─────────┬─────────┐ ┌─┬───────────┬───────┐ │S│E(4 bits)│M(3 bits)│ │S│E(5 bits) │M(2位) │ └─┴─────────┴─────────┘ └─┴───────────┴───────┘ 侧重:精度(尾数多1位) 侧重:范围(指数多1位) 激活值分布集中,要精度 梯度跨度极大,怕下溢-
E4M3(前向/激活):指数 4 位 + 尾数 3 位。前向对精度敏感,激活值分布集中不需要大范围
-
E5M2(反向/梯度):指数 5 位 + 尾数 2 位。反向梯度跨度极大,必须多给指数位防下溢
-
优势:显存再减半(相对 16-bit),算力进一步提升
-
当前状态:H100 硬件支持,但生态还在成熟中;训练时混合精度从 BF16 → FP8 的门槛较高(需要 careful scaling)
混合精度训练 (AMP, Automatic Mixed Precision)
1 什么是混合精度训练
一句话:前向和反向用 16-bit(FP16/BF16)省显存 + 加速,参数更新用 FP32 保精度。
2 为什么优化器必须保留 FP32 Master Weights?
核心公式:参数更新步 W_new = W_old - LR × ∇W
训练后期学习率非常小(例如 10⁻⁵ 量级),梯度 ∇W 也很小,两者乘出来的更新量 ΔW = LR × ∇W 是一个极其微小的数。
假设 W_old = 1.0,ΔW = 10⁻⁷:
| 精度 | 1.0 + 1e-7 的结果 | 能不能吃进更新? |
|---|---|---|
| FP32(23 位尾数) | 1.0000001 ✓ | 能,23 位尾数足够识别微小增量 |
| BF16(7 位尾数) | 1.0 ❌ | 精度不足被抹零! |
| FP16(10 位尾数) | 1.0 ❌ | 精度不足被抹零! |
如果优化器也用 16-bit 存权重,微小更新直接归零,模型彻底停止学习。所以必须存一份 FP32 的 Master Weights 来做参数累加,再截断回 16-bit 做前向。
3 混合精度训练的显存拆分(Adam 优化器)
设模型参数量为 Φ(单位 B):
| 组件 | 精度 | 字节数/参数 | 小计(GB) | 占比 |
|---|---|---|---|---|
| 模型参数(Forward 用) | FP16 / BF16 | 2 | 2Φ | 12.5% |
| 梯度(Backward 结果) | FP16 / BF16 | 2 | 2Φ | 12.5% |
| FP32 主权重(Master) | FP32 | 4 | 4Φ | 25.0% |
| Adam 一阶动量 (m) | FP32 | 4 | 4Φ | 25.0% |
| Adam 二阶动量 (v) | FP32 | 4 | 4Φ | 25.0% |
| 总计 | 16Φ | 100% |
SGD 优化器没有二阶动量,优化器状态只需 4Φ,总显存 = 2Φ + 2Φ + 4Φ = 8Φ
结论:优化器状态占据了 75% 的训练显存!这就是为什么同样一张卡,推理能跑的模型比训练大得多——推理不需要优化器状态。
最后一个小总结:
BF16 的三大优势
BF16 为什么赢?├── ① 范围大(8位指数=FP32级)→ 实际训练几乎不上溢├── ② 零调参(不用 Loss Scaling)→ 工程师幸福指数翻倍└── ③ 硬件成主流(A100 起原生 BF16 Tensor Core)→ 算力不打折精度损失(少 3 位尾数)的代价几乎可以忽略——神经网络对单步误差鲁棒,而溢出是灾难性的。用 3 位尾数的代价换永不崩溃,这笔交易在 LLaMA 时代绝对划算。
FP16 没被淘汰,只是换了战场
- 训练:BF16 全面胜出
- 推理:FP16 仍是优选
- 推理不涉及梯度和参数更新,数值范围压力小
- FP16 10 位尾数 > BF16 7 位尾数 → 推理输出质量略好
- 很多推理框架(TensorRT / vLLM)默认 FP16
附:硬件演进时间线(数据精度视角)
| 代际 | 架构 | GPU 代表 | 关键精度升级 |
|---|---|---|---|
| 2017 | Volta | V100 | FP16 Tensor Core(FP16 时代开启) |
| 2020 | Ampere | A100 | BF16 原生 + TF32 隐形加速(大模型时代基石) |
| 2022 | Ada Lovelace | RTX 4090 | FP8 推理支持 |
| 2022 | Hopper | H100 | FP8 E4M3 + E5M2 双变体原生训练(极致效率) |
支持与分享
如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!












