跳转至

从零到大模型 · AI 工程师成长系列

从 AI 简史到训练世界一流的 Transformer 大语言模型 —— 一套为软件工程师定制的中文教材。

开始阅读卷一 查看系列总纲

本系列面向已经具备扎实编程能力、希望成为专业 AI 工程师的读者,目标是让你最终能够独立参与乃至主导一个世界一流水准的 Transformer 大语言模型的训练:从数据、分词器、模型结构、GPU 内核与分布式训练,一路做到后训练对齐、推理部署与评测。

全系列共 11 卷,分为四个阶段。每一卷都包含:清晰的学习目标、先修要求、章节内容、动手项目和估计学时。所有内容均以简体中文编写,术语首次出现时附英文原文;所有插图均为原创绘制;只引用真实存在的经典论文与著作。

整个系列的总学习时间估计约 1400 小时。按每周 15–20 小时计算,大约需要 18–24 个月。各卷之间有明确的依赖关系(见路线图),但数学基础较好的读者可以快速浏览卷二、卷三,把它们当作参考手册。

学习路线图

学习路线图
四个阶段、十一卷书

全部卷册

卷 书名 学时 状态
1 人工智能简史与核心概念 40 ✅ 已完成
2 数学基础 I:线性代数与微积分 100 🕓 即将推出
3 数学基础 II:概率统计、信息论与优化 100 🕓 即将推出
4 机器学习基础 120 🕓 即将推出
5 深度学习与 PyTorch 160 🕓 即将推出
6 注意力机制与 Transformer 140 🕓 即将推出
7 GPU 编程与高性能计算 150 🕓 即将推出
8 大语言模型预训练 200 🕓 即将推出
9 后训练、对齐与推理强化学习 160 🕓 即将推出
10 推理优化、部署与评测 120 🕓 即将推出
11 前沿专题:MoE、长上下文、多模态与智能体 100 🕓 即将推出

全系列合计约 1390 小时。

编写原则

  • 从零实现:每个核心算法都先用 NumPy / PyTorch 从零写一遍,再使用成熟的库。
  • 原理与工程并重:既推导公式,也测量显存、吞吐和 MFU;既懂“为什么”,也懂“怎么让它在一万块 GPU 上跑起来”。
  • 小规模实验,大规模思考:绝大多数现象(规模定律、训练不稳定、过拟合)都可以在单卡小模型上观察到。
  • 精读原始论文:每卷列出必读的经典论文,并在正文中逐段精读最关键的几篇。
  • 中文语料与场景:项目尽量使用中文数据(古诗词、中文网页、中文数学题),并讨论中文分词与评测的特殊问题。

PDF 版本

本站内容以 Markdown 为单一来源,PDF 版本可以由同一份源文件生成,适合离线阅读与打印。