卷十 推理优化、部署与评测¶
Inference Optimization, Deployment and Evaluation
即将推出
本卷正在编写中。估计学时:120 小时。以下为规划的内容,详见系列总纲。
学习目标¶
- 理解 LLM 推理的计算特性与性能瓶颈
- 掌握 KV 缓存、量化、投机解码与连续批处理等推理优化技术
- 能部署高吞吐、低延迟的模型服务
- 建立科学的大模型评测方法论,覆盖能力、安全与可靠性
先修要求¶
卷六至卷九。
规划章节¶
| 章 | 标题 | 内容摘要 |
|---|---|---|
| 1 | 推理的计算特性 | 预填充与解码、计算受限与内存受限、延迟与吞吐的权衡。 |
| 2 | KV 缓存 | 原理与显存估算、PagedAttention、前缀缓存。 |
| 3 | 量化 | INT8/INT4、GPTQ、AWQ、FP8 推理、KV 缓存量化。 |
| 4 | 解码加速 | 投机解码、多头草稿解码、多词元预测。 |
| 5 | 批处理与调度 | 连续批处理、预填充/解码分离、主流推理引擎架构剖析。 |
| 6 | 分布式推理 | 张量并行推理、专家并行、长上下文推理。 |
| 7 | 端侧与本地部署 | llama.cpp、GGUF 格式与移动端推理。 |
| 8 | 评测方法论 | 基准设计、数据污染检测、统计显著性、LLM-as-a-Judge 及其偏差。 |
| 9 | 能力评测 | 知识、推理、数学、代码、长上下文与多语言(含中文)评测。 |
| 10 | 安全与可靠性评测 | 幻觉、偏见、越狱与红队;线上监控与 A/B 测试。 |
动手项目¶
- 从零实现带 KV 缓存与连续批处理的推理引擎
- 实现 INT4 权重量化并测量精度损失
- 实现投机解码并测量加速比
- 为自己训练的模型搭建一套自动化评测流水线
核心阅读¶
- Kwon et al. (2023). Efficient Memory Management for LLM Serving with PagedAttention
- Leviathan, Kalman & Matias (2023). Fast Inference from Transformers via Speculative Decoding
- Frantar et al. (2023). GPTQ
- Lin et al. (2024). AWQ
- Zheng et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
- Hendrycks et al. (2021). Measuring Massive Multitask Language Understanding