跳转至

卷八 大语言模型预训练

Pre-training Large Language Models

即将推出

本卷正在编写中。估计学时:200 小时。以下为规划的内容,详见系列总纲。

学习目标

  • 掌握预训练数据的获取、清洗、去重、过滤与配比
  • 从零实现并训练 BPE 分词器
  • 理解并应用规模定律进行训练规划与超参数选择
  • 掌握数据并行、ZeRO/FSDP、张量并行、流水线并行及其组合
  • 能诊断与处理训练不稳定,并在多卡上完成一次 10 亿参数级模型的完整预训练

先修要求

卷六、卷七。

规划章节

章 标题 内容摘要
1 预训练全景 一次完整预训练的流程、团队分工与成本构成。
2 数据获取与清洗 Common Crawl、正文抽取、语言识别、质量过滤、MinHash 去重、隐私与安全过滤。
3 数据配比与课程 网页、代码、数学、书籍与多语言(含中文)数据的配比;数据重复与退火。
4 分词器 BPE、Unigram 与字节级 BPE;训练中文友好的分词器;词表大小的权衡。
5 规模定律 Kaplan 与 Chinchilla 定律、计算最优、拟合与外推、μP 超参数迁移。
6 训练配方 优化器、学习率调度(warmup-cosine、WSD)、批大小与权重衰减、初始化。
7 训练稳定性 损失尖峰、logit 增长、QK-Norm、z-loss、梯度裁剪、诊断与恢复。
8 数据并行与 ZeRO/FSDP DDP、ZeRO-1/2/3、FSDP 实战与显存分析。
9 张量并行与序列并行 Megatron 式张量并行、序列并行与上下文并行。
10 流水线并行与多维并行 GPipe、1F1B 与交错调度;并行策略的组合与选择。
11 训练基础设施 高效数据加载、检查点、容错、监控与 MFU 优化。
12 中期训练与长上下文扩展 RoPE 缩放与长度扩展、领域数据退火。

动手项目

  1. 从零实现字节级 BPE 分词器并在中英混合语料上训练
  2. 搭建数据清洗流水线,处理约 10 GB 的中文网页数据
  3. 用 FSDP 在 8 卡上预训练一个约 10 亿参数的模型
  4. 在小模型上拟合自己的规模定律曲线并预测更大模型的损失

核心阅读

  • Kaplan et al. (2020). Scaling Laws for Neural Language Models
  • Hoffmann et al. (2022). Training Compute-Optimal Large Language Models
  • Sennrich, Haddow & Birch (2016). Neural Machine Translation of Rare Words with Subword Units
  • Shoeybi et al. (2019). Megatron-LM
  • Rajbhandari et al. (2020). ZeRO
  • Huang et al. (2019). GPipe
  • Penedo et al. (2024). The FineWeb Datasets
  • Llama Team, AI @ Meta (2024). The Llama 3 Herd of Models. arXiv:2407.21783