跳转至

卷九 后训练、对齐与推理强化学习

Post-training, Alignment and RL for Reasoning

即将推出

本卷正在编写中。估计学时:160 小时。以下为规划的内容,详见系列总纲。

学习目标

  • 掌握指令数据构造与监督微调(含 LoRA)
  • 理解强化学习基础与 PPO,实现 RLHF 流程
  • 掌握 DPO 等偏好优化方法
  • 掌握基于可验证奖励的推理强化学习(如 GRPO)
  • 理解安全对齐、工具使用与智能体训练的方法

先修要求

卷八(至少完成一个基座模型的预训练或使用开源基座模型)。

规划章节

章 标题 内容摘要
1 后训练全景 从基座模型到助手模型:SFT、偏好优化与强化学习的分工。
2 指令数据 数据构造、合成数据(Self-Instruct 等)、质量与多样性、对话模板。
3 监督微调 全参数微调、LoRA 与 QLoRA、序列打包与损失掩码。
4 强化学习基础 马尔可夫决策过程、策略梯度、REINFORCE、优势函数与 PPO。
5 奖励模型与 RLHF Bradley–Terry 模型、奖励模型训练、PPO-RLHF 实现、奖励黑客。
6 直接偏好优化 DPO 推导、IPO、KTO 等变体;在线与离线方法比较。
7 面向推理的强化学习 可验证奖励、GRPO、长思维链的涌现;精读 DeepSeek-R1。
8 推理时计算 自洽性、最佳 N 选一、过程奖励模型与搜索。
9 工具使用与智能体训练 函数调用、多轮交互强化学习、代码执行环境。
10 安全对齐 有用与无害的平衡、拒答校准、宪法式 AI、红队测试与越狱防御。
11 蒸馏与模型合并 推理能力蒸馏、模型合并方法。

动手项目

  1. 对 10 亿参数基座模型进行 SFT,得到中文对话模型
  2. 实现 DPO 并与 SFT 模型做对比评测
  3. 用 GRPO 在数学应用题上训练推理能力并观察回答长度的变化
  4. 构建一个小型红队测试集并评估模型安全性

核心阅读

  • Ouyang et al. (2022). Training Language Models to Follow Instructions with Human Feedback
  • Schulman et al. (2017). Proximal Policy Optimization Algorithms
  • Rafailov et al. (2023). Direct Preference Optimization
  • Shao et al. (2024). DeepSeekMath(提出 GRPO)
  • DeepSeek-AI (2025). DeepSeek-R1
  • Hu et al. (2022). LoRA
  • Bai et al. (2022). Constitutional AI