ACoolBlog
浅解大模型训练中的数据格式与混合精度
FP16/BF16/FP8 的取舍、为什么 BF16 赢得训练而 FP16 退守推理,以及 AMP 混合精度训练的显存拆账。
浅解码码策略与投机解码
从 logits 到 token 的解码策略(Temperature / Top-K / Top-p)与投机解码的草稿-验证机制、接受概率公式与无损保证。
GPU 架构与内存层级:SRAM、L2 与 FlashAttention 分块
从 SRAM、Shared Memory、L2 Cache 到 HBM 的层级关系,以及 FlashAttention 如何用分块把显存复杂度从 O(N²) 压到 O(N)。
浅解 KV Cache 与 FlashAttention
KV Cache 解决"历史状态累积",FlashAttention 解决"单次计算的瞬时访存"——两堵显存墙的成因与解法。
一个方程的四种解法:PPO / DPO / GRPO / GSPO
RLHF 的目标方程只有一行,PPO / DPO / GRPO / GSPO 是它的四种解法。从策略梯度、优势函数到重要性采样,一篇打通四个算法的共同骨架。
10 分钟了解 SRAM、L1 Cache、L2 Cache
SRAM、Shared Memory、L1、L2、HBM 到底是什么关系?用一张结构图讲清 GPU 的存储层级。












