卷六 注意力机制与 Transformer¶
Attention and the Transformer
即将推出
本卷正在编写中。估计学时:140 小时。以下为规划的内容,详见系列总纲。
学习目标¶
- 彻底理解自注意力、多头注意力、位置编码与 Transformer 块的每一个细节
- 从零实现一个完整的 GPT 风格语言模型并在中文语料上训练
- 掌握现代 LLM 架构改进:RoPE、RMSNorm、SwiGLU、GQA 等
- 理解 FlashAttention 等高效注意力的原理
- 初步掌握 Transformer 的可解释性分析方法
先修要求¶
卷五。
规划章节¶
| 章 | 标题 | 内容摘要 |
|---|---|---|
| 1 | 注意力的本质 | 查询、键与值;缩放点积注意力及其几何直觉。 |
| 2 | 自注意力与多头注意力 | 逐行实现、因果掩码与张量形状推演。 |
| 3 | 位置信息 | 正弦位置编码、可学习位置编码、RoPE 旋转位置编码与 ALiBi。 |
| 4 | Transformer 块 | 残差流、Pre-LN 与 Post-LN、前馈网络、GELU 与 SwiGLU、RMSNorm。 |
| 5 | 原始编码器—解码器 Transformer | 逐段精读 Vaswani et al. (2017),实现一个小型翻译模型。 |
| 6 | 三大模型家族 | 编码器(BERT)、解码器(GPT)、编码器—解码器(T5)及其预训练目标。 |
| 7 | 从零构建 GPT | 约 300 行代码实现完整的仅解码器语言模型,并在中文语料上训练。 |
| 8 | 生成与解码 | 贪心、温度、top-k、top-p 与束搜索;KV 缓存初步。 |
| 9 | 现代架构剖析 | GQA/MQA、权重共享、Llama 式架构的逐项剖析与消融实验。 |
| 10 | 高效注意力 | 复杂度分析、FlashAttention 原理(分块与在线 Softmax)、稀疏与线性注意力。 |
| 11 | 可解释性初步 | 注意力可视化、残差流视角与归纳头。 |
动手项目¶
- 从零实现 GPT,在单卡上训练一个约 5000 万参数的中文模型
- 实现 RoPE 并进行长度外推实验
- 把开源 Llama 结构模型的权重加载进自己的实现,验证输出逐位一致
- 做一组架构消融实验(Pre-LN vs Post-LN、GELU vs SwiGLU)
核心阅读¶
- Vaswani et al. (2017). Attention Is All You Need
- Su et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding
- Shazeer (2020). GLU Variants Improve Transformer
- Ainslie et al. (2023). GQA
- Dao et al. (2022). FlashAttention
- Olsson et al. (2022). In-context Learning and Induction Heads