跳转至

卷五 深度学习与 PyTorch

Deep Learning with PyTorch

即将推出

本卷正在编写中。估计学时:160 小时。以下为规划的内容,详见系列总纲。

学习目标

  • 从零实现神经网络的前向与反向传播
  • 熟练使用 PyTorch 构建、训练与调试深度网络
  • 掌握初始化、归一化、正则化、优化器与学习率调度等训练技巧
  • 理解并实现 CNN、RNN/LSTM、Seq2Seq 与注意力
  • 建立系统的深度学习调试与实验方法

先修要求

卷二至卷四;Python 熟练。建议具备一块 GPU(本地或云端)。

规划章节

章 标题 内容摘要
1 从零实现神经网络 用 NumPy 实现多层感知机的前向与反向传播,在 MNIST 上训练。
2 PyTorch 核心 张量、autograd、nn.Module、Dataset/DataLoader、GPU 使用。
3 训练深度网络 Xavier/He 初始化、激活函数与损失函数、优化器与学习率调度。
4 正则化与归一化 Dropout、权重衰减、数据增强;BatchNorm、LayerNorm、RMSNorm。
5 卷积神经网络 卷积、池化与感受野;实现 LeNet、VGG 与 ResNet。
6 循环神经网络 RNN 与随时间反向传播、梯度消失、LSTM 与 GRU;字符级语言模型。
7 序列到序列与注意力 编码器—解码器、Bahdanau 注意力、束搜索。
8 嵌入与表示学习 word2vec、自编码器与对比学习。
9 生成模型入门 VAE、GAN 与扩散模型的基本思想。
10 调试与实验方法 过拟合单个批次、梯度检查、损失曲线诊断、可复现性与实验追踪。

动手项目

  1. NumPy 手写 MLP,在 MNIST 上达到 97% 以上准确率
  2. PyTorch 实现 ResNet 并在 CIFAR-10 上训练
  3. 字符级 LSTM 生成唐诗
  4. 带注意力的 Seq2Seq 实现简单的中英翻译

核心阅读

  • Goodfellow, Bengio & Courville (2016). Deep Learning
  • He et al. (2016). Deep Residual Learning for Image Recognition
  • Ioffe & Szegedy (2015). Batch Normalization
  • Srivastava et al. (2014). Dropout. JMLR
  • Ba, Kiros & Hinton (2016). Layer Normalization