跳转至

卷十一 前沿专题:MoE、长上下文、多模态与智能体

Frontiers: MoE, Long Context, Multimodality and Agents

即将推出

本卷正在编写中。估计学时:100 小时。以下为规划的内容,详见系列总纲。

学习目标

  • 理解并实现混合专家模型与专家并行
  • 掌握长上下文建模与状态空间模型等新架构
  • 理解视觉—语言等多模态模型与扩散模型
  • 理解智能体系统的设计与评测
  • 学会跟踪前沿、复现论文并开展独立研究

先修要求

卷六至卷十。

规划章节

章 标题 内容摘要
1 混合专家模型 稀疏门控、负载均衡、专家并行;Switch Transformer、Mixtral 与 DeepSeek-MoE。
2 长上下文 位置外推、滑动窗口与稀疏注意力、环形注意力;状态空间模型(Mamba)与混合架构。
3 多模态 ViT、CLIP、视觉—语言模型、语音与全模态模型。
4 扩散模型与生成 DDPM、潜空间扩散与扩散 Transformer(DiT)。
5 智能体 规划、记忆与工具使用;编程智能体与多智能体系统及其评测。
6 合成数据与自我改进 数据合成、自我博弈与“数据墙”问题。
7 可解释性与对齐研究 机制可解释性、稀疏自编码器、可扩展监督。
8 高效训练前沿 FP8/FP4 训练、低通信分布式优化与新型优化器。
9 如何做研究 读论文、复现、提出好问题、写作与开源。

动手项目

  1. 实现 Top-k MoE 层并分析负载均衡损失的作用
  2. 训练一个小型 CLIP 或视觉—语言模型
  3. 构建一个能读写代码并运行测试的编程智能体
  4. 复现一篇近期论文的核心实验

核心阅读

  • Shazeer et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
  • Fedus, Zoph & Shazeer (2022). Switch Transformers. JMLR
  • Gu & Dao (2023). Mamba
  • Dosovitskiy et al. (2021). An Image is Worth 16x16 Words (ViT)
  • Radford et al. (2021). Learning Transferable Visual Models From Natural Language Supervision (CLIP)
  • Ho, Jain & Abbeel (2020). Denoising Diffusion Probabilistic Models
  • Peebles & Xie (2023). Scalable Diffusion Models with Transformers
  • Yao et al. (2023). ReAct