从零训练 MoE 稀疏混合专家模型

01项目概述

从数据构造、分词、预训练到指令微调,完整走通一个小型 MoE(稀疏混合专家)模型的训练链路。这个项目想回答的问题很简单:不依赖开源权重,一个人能不能把一个可用的 MoE 模型从头训练出来?

—— 概述占位,待补充。

02架构设计

—— 架构说明占位,待补充。

03核心难点与解法

• 难点一 —— 占位,待补充。
• 难点二 —— 占位,待补充。
• 难点三 —— 占位,待补充。

04训练曲线

—— 曲线解读占位,待补充。

05成果与指标