跳转至

卷二 数学基础 I:线性代数与微积分

Mathematics I: Linear Algebra and Calculus

即将推出

本卷正在编写中。估计学时:100 小时。以下为规划的内容,详见系列总纲。

学习目标

  • 熟练掌握向量、矩阵、线性变换及其几何直觉
  • 理解特征分解、SVD 与低秩近似,并能联系到 PCA 与 LoRA
  • 掌握多元微积分与矩阵微积分,能手推线性层、Softmax 的梯度
  • 理解前向/反向模式自动微分,并从零实现一个自动微分引擎
  • 熟练使用张量、广播与 einsum 推演注意力的形状

先修要求

高中数学;Python 与 NumPy 基础;建议先读卷一。

规划章节

章 标题 内容摘要
1 向量与向量空间 线性组合、张成、线性无关、基与维数;用 NumPy 操作词向量。
2 矩阵与线性变换 矩阵乘法的四种视角与几何意义;为什么矩阵乘法是神经网络的核心运算。
3 范数、内积与正交 L1/L2 范数、余弦相似度、正交投影、Gram-Schmidt;注意力中的点积。
4 线性方程组与矩阵分解 高斯消元、LU 分解、秩与可逆性;最小二乘与正规方程。
5 特征值与特征向量 特征分解、对称矩阵的谱定理、幂迭代;与 RNN 梯度爆炸/消失的联系。
6 奇异值分解与低秩近似 SVD、Eckart–Young 定理、PCA;LoRA 低秩适配的数学基础。
7 单变量微积分回顾 极限、导数、泰勒展开;数值微分与浮点误差。
8 多元微积分与梯度 偏导数、梯度、方向导数、雅可比矩阵与黑塞矩阵;损失曲面的几何。
9 矩阵微积分 标量对向量/矩阵求导、常用公式与迹技巧;推导线性层、Softmax + 交叉熵的梯度。
10 链式法则与自动微分 计算图、前向模式与反向模式;从零实现标量与张量自动微分引擎。
11 张量与 einsum 高维数组、广播规则、einsum 记号;多头注意力的张量形状推演。

动手项目

  1. 用 SVD 实现图像压缩并分析奇异值谱
  2. 从零实现 PCA 并对 MNIST 降维可视化
  3. 从零实现自动微分引擎(标量版 → 张量版),并通过数值梯度检验
  4. 用 einsum 一行实现多头注意力的打分计算

核心阅读

  • Strang, G. Introduction to Linear Algebra(教材)
  • Parr & Howard (2018). The Matrix Calculus You Need for Deep Learning. arXiv:1802.01528
  • Baydin et al. (2018). Automatic Differentiation in Machine Learning: a Survey. JMLR