跳转至

卷十 推理优化、部署与评测

Inference Optimization, Deployment and Evaluation

即将推出

本卷正在编写中。估计学时:120 小时。以下为规划的内容,详见系列总纲。

学习目标

  • 理解 LLM 推理的计算特性与性能瓶颈
  • 掌握 KV 缓存、量化、投机解码与连续批处理等推理优化技术
  • 能部署高吞吐、低延迟的模型服务
  • 建立科学的大模型评测方法论,覆盖能力、安全与可靠性

先修要求

卷六至卷九。

规划章节

章 标题 内容摘要
1 推理的计算特性 预填充与解码、计算受限与内存受限、延迟与吞吐的权衡。
2 KV 缓存 原理与显存估算、PagedAttention、前缀缓存。
3 量化 INT8/INT4、GPTQ、AWQ、FP8 推理、KV 缓存量化。
4 解码加速 投机解码、多头草稿解码、多词元预测。
5 批处理与调度 连续批处理、预填充/解码分离、主流推理引擎架构剖析。
6 分布式推理 张量并行推理、专家并行、长上下文推理。
7 端侧与本地部署 llama.cpp、GGUF 格式与移动端推理。
8 评测方法论 基准设计、数据污染检测、统计显著性、LLM-as-a-Judge 及其偏差。
9 能力评测 知识、推理、数学、代码、长上下文与多语言(含中文)评测。
10 安全与可靠性评测 幻觉、偏见、越狱与红队;线上监控与 A/B 测试。

动手项目

  1. 从零实现带 KV 缓存与连续批处理的推理引擎
  2. 实现 INT4 权重量化并测量精度损失
  3. 实现投机解码并测量加速比
  4. 为自己训练的模型搭建一套自动化评测流水线

核心阅读

  • Kwon et al. (2023). Efficient Memory Management for LLM Serving with PagedAttention
  • Leviathan, Kalman & Matias (2023). Fast Inference from Transformers via Speculative Decoding
  • Frantar et al. (2023). GPTQ
  • Lin et al. (2024). AWQ
  • Zheng et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
  • Hendrycks et al. (2021). Measuring Massive Multitask Language Understanding