卷八 大语言模型预训练¶
Pre-training Large Language Models
即将推出
本卷正在编写中。估计学时:200 小时。以下为规划的内容,详见系列总纲。
学习目标¶
- 掌握预训练数据的获取、清洗、去重、过滤与配比
- 从零实现并训练 BPE 分词器
- 理解并应用规模定律进行训练规划与超参数选择
- 掌握数据并行、ZeRO/FSDP、张量并行、流水线并行及其组合
- 能诊断与处理训练不稳定,并在多卡上完成一次 10 亿参数级模型的完整预训练
先修要求¶
卷六、卷七。
规划章节¶
| 章 | 标题 | 内容摘要 |
|---|---|---|
| 1 | 预训练全景 | 一次完整预训练的流程、团队分工与成本构成。 |
| 2 | 数据获取与清洗 | Common Crawl、正文抽取、语言识别、质量过滤、MinHash 去重、隐私与安全过滤。 |
| 3 | 数据配比与课程 | 网页、代码、数学、书籍与多语言(含中文)数据的配比;数据重复与退火。 |
| 4 | 分词器 | BPE、Unigram 与字节级 BPE;训练中文友好的分词器;词表大小的权衡。 |
| 5 | 规模定律 | Kaplan 与 Chinchilla 定律、计算最优、拟合与外推、μP 超参数迁移。 |
| 6 | 训练配方 | 优化器、学习率调度(warmup-cosine、WSD)、批大小与权重衰减、初始化。 |
| 7 | 训练稳定性 | 损失尖峰、logit 增长、QK-Norm、z-loss、梯度裁剪、诊断与恢复。 |
| 8 | 数据并行与 ZeRO/FSDP | DDP、ZeRO-1/2/3、FSDP 实战与显存分析。 |
| 9 | 张量并行与序列并行 | Megatron 式张量并行、序列并行与上下文并行。 |
| 10 | 流水线并行与多维并行 | GPipe、1F1B 与交错调度;并行策略的组合与选择。 |
| 11 | 训练基础设施 | 高效数据加载、检查点、容错、监控与 MFU 优化。 |
| 12 | 中期训练与长上下文扩展 | RoPE 缩放与长度扩展、领域数据退火。 |
动手项目¶
- 从零实现字节级 BPE 分词器并在中英混合语料上训练
- 搭建数据清洗流水线,处理约 10 GB 的中文网页数据
- 用 FSDP 在 8 卡上预训练一个约 10 亿参数的模型
- 在小模型上拟合自己的规模定律曲线并预测更大模型的损失
核心阅读¶
- Kaplan et al. (2020). Scaling Laws for Neural Language Models
- Hoffmann et al. (2022). Training Compute-Optimal Large Language Models
- Sennrich, Haddow & Birch (2016). Neural Machine Translation of Rare Words with Subword Units
- Shoeybi et al. (2019). Megatron-LM
- Rajbhandari et al. (2020). ZeRO
- Huang et al. (2019). GPipe
- Penedo et al. (2024). The FineWeb Datasets
- Llama Team, AI @ Meta (2024). The Llama 3 Herd of Models. arXiv:2407.21783