跳转至

卷七 GPU 编程与高性能计算

GPU Programming and High-Performance Computing

即将推出

本卷正在编写中。估计学时:150 小时。以下为规划的内容,详见系列总纲。

学习目标

  • 理解 GPU 体系结构与屋顶线性能模型,能判断计算受限还是内存受限
  • 掌握 CUDA 与 Triton 编程,能编写并优化矩阵乘法、融合算子与注意力内核
  • 掌握混合精度与低精度数值格式的工程实践
  • 掌握 PyTorch 性能分析与优化工具
  • 理解集合通信与多机多卡集群的基本原理

先修要求

卷五、卷六;C/C++ 基础;一块 NVIDIA GPU(本地或云端)。

规划章节

章 标题 内容摘要
1 GPU 体系结构 SM、线程束、HBM/共享内存/寄存器层次、Tensor Core。
2 性能模型 算力与带宽、屋顶线模型、算术强度。
3 CUDA 编程基础 线程/块/网格、内存合并访问、共享内存与同步。
4 矩阵乘法优化 从朴素实现到分块、共享内存与 Tensor Core,逐步逼近 cuBLAS。
5 Triton 编程 用 Python 编写高性能内核;融合 Softmax 与 LayerNorm。
6 实现 FlashAttention 用 Triton 实现注意力的前向与反向内核。
7 数值格式与混合精度 FP16/BF16/FP8、损失缩放与混合精度训练的实现。
8 PyTorch 性能工程 Profiler、torch.compile、CUDA Graphs 与显存分析。
9 通信基础 NCCL 与集合通信(All-Reduce、All-Gather、Reduce-Scatter)、NVLink 与 InfiniBand、通信代价模型。
10 集群与作业 多机多卡环境、作业调度、容错与检查点、成本核算。

动手项目

  1. CUDA 矩阵乘法逐步优化,达到 cuBLAS 70% 以上的性能
  2. 用 Triton 实现融合 LayerNorm 与 FlashAttention 前向内核
  3. 用 Profiler 分析并把一个 GPT 训练脚本提速 2 倍
  4. 测量并建模 All-Reduce 在不同消息大小下的带宽

核心阅读

  • Williams, Waterman & Patterson (2009). Roofline: An Insightful Visual Performance Model. CACM
  • Tillet, Kung & Cox (2019). Triton: An Intermediate Language and Compiler for Tiled Neural Network Computations
  • Micikevicius et al. (2018). Mixed Precision Training
  • Dao (2023). FlashAttention-2