卷十一 前沿专题:MoE、长上下文、多模态与智能体¶
Frontiers: MoE, Long Context, Multimodality and Agents
即将推出
本卷正在编写中。估计学时:100 小时。以下为规划的内容,详见系列总纲。
学习目标¶
- 理解并实现混合专家模型与专家并行
- 掌握长上下文建模与状态空间模型等新架构
- 理解视觉—语言等多模态模型与扩散模型
- 理解智能体系统的设计与评测
- 学会跟踪前沿、复现论文并开展独立研究
先修要求¶
卷六至卷十。
规划章节¶
| 章 | 标题 | 内容摘要 |
|---|---|---|
| 1 | 混合专家模型 | 稀疏门控、负载均衡、专家并行;Switch Transformer、Mixtral 与 DeepSeek-MoE。 |
| 2 | 长上下文 | 位置外推、滑动窗口与稀疏注意力、环形注意力;状态空间模型(Mamba)与混合架构。 |
| 3 | 多模态 | ViT、CLIP、视觉—语言模型、语音与全模态模型。 |
| 4 | 扩散模型与生成 | DDPM、潜空间扩散与扩散 Transformer(DiT)。 |
| 5 | 智能体 | 规划、记忆与工具使用;编程智能体与多智能体系统及其评测。 |
| 6 | 合成数据与自我改进 | 数据合成、自我博弈与“数据墙”问题。 |
| 7 | 可解释性与对齐研究 | 机制可解释性、稀疏自编码器、可扩展监督。 |
| 8 | 高效训练前沿 | FP8/FP4 训练、低通信分布式优化与新型优化器。 |
| 9 | 如何做研究 | 读论文、复现、提出好问题、写作与开源。 |
动手项目¶
- 实现 Top-k MoE 层并分析负载均衡损失的作用
- 训练一个小型 CLIP 或视觉—语言模型
- 构建一个能读写代码并运行测试的编程智能体
- 复现一篇近期论文的核心实验
核心阅读¶
- Shazeer et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
- Fedus, Zoph & Shazeer (2022). Switch Transformers. JMLR
- Gu & Dao (2023). Mamba
- Dosovitskiy et al. (2021). An Image is Worth 16x16 Words (ViT)
- Radford et al. (2021). Learning Transferable Visual Models From Natural Language Supervision (CLIP)
- Ho, Jain & Abbeel (2020). Denoising Diffusion Probabilistic Models
- Peebles & Xie (2023). Scalable Diffusion Models with Transformers
- Yao et al. (2023). ReAct