跳转至

卷三 数学基础 II:概率统计、信息论与优化

Mathematics II: Probability, Information Theory and Optimization

即将推出

本卷正在编写中。估计学时:100 小时。以下为规划的内容,详见系列总纲。

学习目标

  • 掌握概率论与常见分布,理解期望、方差与协方差
  • 理解最大似然估计,并据此推导出各种损失函数
  • 掌握熵、交叉熵、KL 散度与困惑度,理解语言模型损失的含义
  • 理解梯度下降、动量与 Adam/AdamW 的原理与收敛性
  • 理解浮点数格式与混合精度训练的数值基础

先修要求

卷二(或同等的线性代数与微积分基础)。

规划章节

章 标题 内容摘要
1 概率论基础 样本空间、条件概率、贝叶斯定理与独立性。
2 随机变量与常见分布 伯努利、类别、高斯与多元高斯分布;期望、方差与协方差。
3 极限定理与采样 大数定律、中心极限定理、蒙特卡洛估计;小批量梯度噪声的来源。
4 统计推断 最大似然与最大后验估计、置信区间、假设检验;模型评测中的统计显著性。
5 信息论 熵、交叉熵、KL 散度、互信息;困惑度与“压缩即预测”。
6 Softmax、Logits 与采样 log-sum-exp 数值稳定技巧、温度、top-k 与 top-p 采样。
7 凸优化基础 凸集与凸函数、最优性条件、拉格朗日对偶;SVM 的对偶形式。
8 梯度下降的理论 收敛速度、条件数与学习率选择;动量与 Nesterov 加速。
9 随机与自适应优化 SGD、AdaGrad、RMSProp、Adam、AdamW;学习率预热与衰减;新型优化器的思想。
10 数值计算与浮点数 IEEE 754、FP32/FP16/BF16/FP8、上溢与下溢、损失缩放;混合精度的数学基础。

动手项目

  1. 蒙特卡洛模拟验证中心极限定理
  2. 计算中文语料的字级熵与 n-gram 困惑度
  3. 从零实现 SGD/动量/Adam/AdamW,在 Rosenbrock 函数上可视化优化轨迹
  4. 实验观察 FP16 下溢并实现动态损失缩放

核心阅读

  • Cover & Thomas. Elements of Information Theory(教材)
  • Boyd & Vandenberghe (2004). Convex Optimization
  • Kingma & Ba (2015). Adam: A Method for Stochastic Optimization
  • Loshchilov & Hutter (2019). Decoupled Weight Decay Regularization
  • Micikevicius et al. (2018). Mixed Precision Training