DeepSeek 拥有众多独门秘籍，其中一个就是被称为 “混合专家” （MoE）的模型架构。国外技术达人 New Machina 在这段 5 分钟的视频中，深入浅出地介绍了 MoE 前身今世，以及工作方式，保证人人都能听懂。
MoE是一种特殊的模型架构，它不同于传统的单一模型，而是采用多个 "专家" 模型（子网络）来处理不同的输入数据。这些专家并非人为指定，专攻某个领域，而是在训练过程中自然形成各自的专长。系统通过一种门控机制，根据输入内容动态选择最合适的“专家”来处理任务。
这种架构最早可以追溯到 1991 年，由包括杰弗里·辛顿在内的研究者们首次提出。它的独特之处在于稀疏性。这种特性让模型在处理任务时只激活部分专家，这样既保持了模型的强大性能，又显著降低了计算成本。
目前市面上已经有了一些知名的 MoE 模型。比如法国 Mistral AI 在 2023 年底推出的Mixtral 模型，它用 8 个专家系统实现了超越 GPT-3.5 的性能。还有咱们的 DeepSeek R1，虽然总参数量达到 6710 亿，但实际运行时只需激活其中的 370 亿参数。
总的来说 “混合专家” （MoE）的模型架构，就像我们熟悉的 “专家会诊”。很多时候众多专家的分工协作要比一个全能型专家更厉害！
