卷五 深度学习与 PyTorch¶
Deep Learning with PyTorch
即将推出
本卷正在编写中。估计学时:160 小时。以下为规划的内容,详见系列总纲。
学习目标¶
- 从零实现神经网络的前向与反向传播
- 熟练使用 PyTorch 构建、训练与调试深度网络
- 掌握初始化、归一化、正则化、优化器与学习率调度等训练技巧
- 理解并实现 CNN、RNN/LSTM、Seq2Seq 与注意力
- 建立系统的深度学习调试与实验方法
先修要求¶
卷二至卷四;Python 熟练。建议具备一块 GPU(本地或云端)。
规划章节¶
| 章 | 标题 | 内容摘要 |
|---|---|---|
| 1 | 从零实现神经网络 | 用 NumPy 实现多层感知机的前向与反向传播,在 MNIST 上训练。 |
| 2 | PyTorch 核心 | 张量、autograd、nn.Module、Dataset/DataLoader、GPU 使用。 |
| 3 | 训练深度网络 | Xavier/He 初始化、激活函数与损失函数、优化器与学习率调度。 |
| 4 | 正则化与归一化 | Dropout、权重衰减、数据增强;BatchNorm、LayerNorm、RMSNorm。 |
| 5 | 卷积神经网络 | 卷积、池化与感受野;实现 LeNet、VGG 与 ResNet。 |
| 6 | 循环神经网络 | RNN 与随时间反向传播、梯度消失、LSTM 与 GRU;字符级语言模型。 |
| 7 | 序列到序列与注意力 | 编码器—解码器、Bahdanau 注意力、束搜索。 |
| 8 | 嵌入与表示学习 | word2vec、自编码器与对比学习。 |
| 9 | 生成模型入门 | VAE、GAN 与扩散模型的基本思想。 |
| 10 | 调试与实验方法 | 过拟合单个批次、梯度检查、损失曲线诊断、可复现性与实验追踪。 |
动手项目¶
- NumPy 手写 MLP,在 MNIST 上达到 97% 以上准确率
- PyTorch 实现 ResNet 并在 CIFAR-10 上训练
- 字符级 LSTM 生成唐诗
- 带注意力的 Seq2Seq 实现简单的中英翻译
核心阅读¶
- Goodfellow, Bengio & Courville (2016). Deep Learning
- He et al. (2016). Deep Residual Learning for Image Recognition
- Ioffe & Szegedy (2015). Batch Normalization
- Srivastava et al. (2014). Dropout. JMLR
- Ba, Kiros & Hinton (2016). Layer Normalization