meta-pytorch/dist_moe
分布式 MoE
通信与计算重叠 · 显存规划 · Blackwell
欢迎回来
从一个开源项目开始，读懂它的灵魂。
- 1粘贴 GitHub 仓库
- 2选择研究或接手模式
- 3跟着导读和 Mate 读代码
继续学习
dist_moe · 第 4 站 前向主链
导读 3/8 站
开启一个新项目
粘贴公开的 GitHub 仓库，Project Mate 会为它生成学习包。
正在检查登录状态…
学习目标
处理进度来自服务器；学习记录仅对你的账号可见。无需登录也可打开 dist_moe 示例。我的项目
正在载入项目…
精选开源项目
karpathy/nanoGPT
最小 GPT 训练
Transformer · 训练循环
vllm-project/vllm
大模型推理服务
PagedAttention · 调度
Dao-AILab/flash-attention
高效注意力 kernel
IO 感知 · tiling