卷九 后训练、对齐与推理强化学习¶
Post-training, Alignment and RL for Reasoning
即将推出
本卷正在编写中。估计学时:160 小时。以下为规划的内容,详见系列总纲。
学习目标¶
- 掌握指令数据构造与监督微调(含 LoRA)
- 理解强化学习基础与 PPO,实现 RLHF 流程
- 掌握 DPO 等偏好优化方法
- 掌握基于可验证奖励的推理强化学习(如 GRPO)
- 理解安全对齐、工具使用与智能体训练的方法
先修要求¶
卷八(至少完成一个基座模型的预训练或使用开源基座模型)。
规划章节¶
| 章 | 标题 | 内容摘要 |
|---|---|---|
| 1 | 后训练全景 | 从基座模型到助手模型:SFT、偏好优化与强化学习的分工。 |
| 2 | 指令数据 | 数据构造、合成数据(Self-Instruct 等)、质量与多样性、对话模板。 |
| 3 | 监督微调 | 全参数微调、LoRA 与 QLoRA、序列打包与损失掩码。 |
| 4 | 强化学习基础 | 马尔可夫决策过程、策略梯度、REINFORCE、优势函数与 PPO。 |
| 5 | 奖励模型与 RLHF | Bradley–Terry 模型、奖励模型训练、PPO-RLHF 实现、奖励黑客。 |
| 6 | 直接偏好优化 | DPO 推导、IPO、KTO 等变体;在线与离线方法比较。 |
| 7 | 面向推理的强化学习 | 可验证奖励、GRPO、长思维链的涌现;精读 DeepSeek-R1。 |
| 8 | 推理时计算 | 自洽性、最佳 N 选一、过程奖励模型与搜索。 |
| 9 | 工具使用与智能体训练 | 函数调用、多轮交互强化学习、代码执行环境。 |
| 10 | 安全对齐 | 有用与无害的平衡、拒答校准、宪法式 AI、红队测试与越狱防御。 |
| 11 | 蒸馏与模型合并 | 推理能力蒸馏、模型合并方法。 |
动手项目¶
- 对 10 亿参数基座模型进行 SFT,得到中文对话模型
- 实现 DPO 并与 SFT 模型做对比评测
- 用 GRPO 在数学应用题上训练推理能力并观察回答长度的变化
- 构建一个小型红队测试集并评估模型安全性
核心阅读¶
- Ouyang et al. (2022). Training Language Models to Follow Instructions with Human Feedback
- Schulman et al. (2017). Proximal Policy Optimization Algorithms
- Rafailov et al. (2023). Direct Preference Optimization
- Shao et al. (2024). DeepSeekMath(提出 GRPO)
- DeepSeek-AI (2025). DeepSeek-R1
- Hu et al. (2022). LoRA
- Bai et al. (2022). Constitutional AI