跳转至

卷六 注意力机制与 Transformer

Attention and the Transformer

即将推出

本卷正在编写中。估计学时:140 小时。以下为规划的内容,详见系列总纲。

学习目标

  • 彻底理解自注意力、多头注意力、位置编码与 Transformer 块的每一个细节
  • 从零实现一个完整的 GPT 风格语言模型并在中文语料上训练
  • 掌握现代 LLM 架构改进:RoPE、RMSNorm、SwiGLU、GQA 等
  • 理解 FlashAttention 等高效注意力的原理
  • 初步掌握 Transformer 的可解释性分析方法

先修要求

卷五。

规划章节

章 标题 内容摘要
1 注意力的本质 查询、键与值;缩放点积注意力及其几何直觉。
2 自注意力与多头注意力 逐行实现、因果掩码与张量形状推演。
3 位置信息 正弦位置编码、可学习位置编码、RoPE 旋转位置编码与 ALiBi。
4 Transformer 块 残差流、Pre-LN 与 Post-LN、前馈网络、GELU 与 SwiGLU、RMSNorm。
5 原始编码器—解码器 Transformer 逐段精读 Vaswani et al. (2017),实现一个小型翻译模型。
6 三大模型家族 编码器(BERT)、解码器(GPT)、编码器—解码器(T5)及其预训练目标。
7 从零构建 GPT 约 300 行代码实现完整的仅解码器语言模型,并在中文语料上训练。
8 生成与解码 贪心、温度、top-k、top-p 与束搜索;KV 缓存初步。
9 现代架构剖析 GQA/MQA、权重共享、Llama 式架构的逐项剖析与消融实验。
10 高效注意力 复杂度分析、FlashAttention 原理(分块与在线 Softmax)、稀疏与线性注意力。
11 可解释性初步 注意力可视化、残差流视角与归纳头。

动手项目

  1. 从零实现 GPT,在单卡上训练一个约 5000 万参数的中文模型
  2. 实现 RoPE 并进行长度外推实验
  3. 把开源 Llama 结构模型的权重加载进自己的实现,验证输出逐位一致
  4. 做一组架构消融实验(Pre-LN vs Post-LN、GELU vs SwiGLU)

核心阅读

  • Vaswani et al. (2017). Attention Is All You Need
  • Su et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding
  • Shazeer (2020). GLU Variants Improve Transformer
  • Ainslie et al. (2023). GQA
  • Dao et al. (2022). FlashAttention
  • Olsson et al. (2022). In-context Learning and Induction Heads