卷三 数学基础 II:概率统计、信息论与优化¶
Mathematics II: Probability, Information Theory and Optimization
即将推出
本卷正在编写中。估计学时:100 小时。以下为规划的内容,详见系列总纲。
学习目标¶
- 掌握概率论与常见分布,理解期望、方差与协方差
- 理解最大似然估计,并据此推导出各种损失函数
- 掌握熵、交叉熵、KL 散度与困惑度,理解语言模型损失的含义
- 理解梯度下降、动量与 Adam/AdamW 的原理与收敛性
- 理解浮点数格式与混合精度训练的数值基础
先修要求¶
卷二(或同等的线性代数与微积分基础)。
规划章节¶
| 章 | 标题 | 内容摘要 |
|---|---|---|
| 1 | 概率论基础 | 样本空间、条件概率、贝叶斯定理与独立性。 |
| 2 | 随机变量与常见分布 | 伯努利、类别、高斯与多元高斯分布;期望、方差与协方差。 |
| 3 | 极限定理与采样 | 大数定律、中心极限定理、蒙特卡洛估计;小批量梯度噪声的来源。 |
| 4 | 统计推断 | 最大似然与最大后验估计、置信区间、假设检验;模型评测中的统计显著性。 |
| 5 | 信息论 | 熵、交叉熵、KL 散度、互信息;困惑度与“压缩即预测”。 |
| 6 | Softmax、Logits 与采样 | log-sum-exp 数值稳定技巧、温度、top-k 与 top-p 采样。 |
| 7 | 凸优化基础 | 凸集与凸函数、最优性条件、拉格朗日对偶;SVM 的对偶形式。 |
| 8 | 梯度下降的理论 | 收敛速度、条件数与学习率选择;动量与 Nesterov 加速。 |
| 9 | 随机与自适应优化 | SGD、AdaGrad、RMSProp、Adam、AdamW;学习率预热与衰减;新型优化器的思想。 |
| 10 | 数值计算与浮点数 | IEEE 754、FP32/FP16/BF16/FP8、上溢与下溢、损失缩放;混合精度的数学基础。 |
动手项目¶
- 蒙特卡洛模拟验证中心极限定理
- 计算中文语料的字级熵与 n-gram 困惑度
- 从零实现 SGD/动量/Adam/AdamW,在 Rosenbrock 函数上可视化优化轨迹
- 实验观察 FP16 下溢并实现动态损失缩放
核心阅读¶
- Cover & Thomas. Elements of Information Theory(教材)
- Boyd & Vandenberghe (2004). Convex Optimization
- Kingma & Ba (2015). Adam: A Method for Stochastic Optimization
- Loshchilov & Hutter (2019). Decoupled Weight Decay Regularization
- Micikevicius et al. (2018). Mixed Precision Training