卷七 GPU 编程与高性能计算¶
GPU Programming and High-Performance Computing
即将推出
本卷正在编写中。估计学时:150 小时。以下为规划的内容,详见系列总纲。
学习目标¶
- 理解 GPU 体系结构与屋顶线性能模型,能判断计算受限还是内存受限
- 掌握 CUDA 与 Triton 编程,能编写并优化矩阵乘法、融合算子与注意力内核
- 掌握混合精度与低精度数值格式的工程实践
- 掌握 PyTorch 性能分析与优化工具
- 理解集合通信与多机多卡集群的基本原理
先修要求¶
卷五、卷六;C/C++ 基础;一块 NVIDIA GPU(本地或云端)。
规划章节¶
| 章 | 标题 | 内容摘要 |
|---|---|---|
| 1 | GPU 体系结构 | SM、线程束、HBM/共享内存/寄存器层次、Tensor Core。 |
| 2 | 性能模型 | 算力与带宽、屋顶线模型、算术强度。 |
| 3 | CUDA 编程基础 | 线程/块/网格、内存合并访问、共享内存与同步。 |
| 4 | 矩阵乘法优化 | 从朴素实现到分块、共享内存与 Tensor Core,逐步逼近 cuBLAS。 |
| 5 | Triton 编程 | 用 Python 编写高性能内核;融合 Softmax 与 LayerNorm。 |
| 6 | 实现 FlashAttention | 用 Triton 实现注意力的前向与反向内核。 |
| 7 | 数值格式与混合精度 | FP16/BF16/FP8、损失缩放与混合精度训练的实现。 |
| 8 | PyTorch 性能工程 | Profiler、torch.compile、CUDA Graphs 与显存分析。 |
| 9 | 通信基础 | NCCL 与集合通信(All-Reduce、All-Gather、Reduce-Scatter)、NVLink 与 InfiniBand、通信代价模型。 |
| 10 | 集群与作业 | 多机多卡环境、作业调度、容错与检查点、成本核算。 |
动手项目¶
- CUDA 矩阵乘法逐步优化,达到 cuBLAS 70% 以上的性能
- 用 Triton 实现融合 LayerNorm 与 FlashAttention 前向内核
- 用 Profiler 分析并把一个 GPT 训练脚本提速 2 倍
- 测量并建模 All-Reduce 在不同消息大小下的带宽
核心阅读¶
- Williams, Waterman & Patterson (2009). Roofline: An Insightful Visual Performance Model. CACM
- Tillet, Kung & Cox (2019). Triton: An Intermediate Language and Compiler for Tiled Neural Network Computations
- Micikevicius et al. (2018). Mixed Precision Training
- Dao (2023). FlashAttention-2