Hugging Face 原生支持混合专家模型
hugging face 重构了 transformers 库以原生支持混合专家模型。此次更新涵盖了权重加载、设备放置和分布式执行，旨在支持 deepseek r1 和 mixtral 等稀疏架构。这使得模型能在推理过程中激活更少的参数，同时保持总容量，显著提升了计算效率和速度。
Hugging Face 对 Transformers 库进行了重构，以支持将 Mixture-of-Experts（MoE）架构作为一等公民。该更新重新设计了核心管道，包括权重加载、设备放置和分布式执行，以处理稀疏模型，而这些模型此前会给为密集网络构建的工具带来压力。
MoE 通过仅为每个 token 激活一小部分专家来将总参数数量与推理速度解耦。例如，开源的 gpt-oss-20b 模型在 M3 Ultra 上运行速度约为每秒 115 个 token，仅激活了 21B 总参数中的 3.6B 参数。最近发布的知名 MoE 模型包括 DeepSeek R1、Qwen 3.5 和 MiniMax M2。