Hugging Face 原生支援混合專家模型
hugging face 重構了 transformers 函式庫以原生支援混合專家模型。此次更新涵蓋了權重載入、裝置放置和分散式執行，旨在支援 deepseek r1 和 mixtral 等稀疏架構。這使得模型能在推理過程中啟動更少的參數，同時保持總容量，顯著提升了計算效率和速度。
Hugging Face 對 Transformers 庫進行了重構，以支持混合專家（Mixture-of-Experts, MoE）架構，成為一等公民。此更新重新設計了核心流程，包括權重加載、裝置放置和分布式執行，以處理稀疏模型，而這些模型此前對為密集網絡構建的工具造成了壓力。
MoE 通過每個 token 只啟動一小部分專家，從而將總參數數量與推理速度解耦。例如，開放的 gpt-oss-20b 模型通過僅啟動 21B 總參數中的 3.6B，在 M3 Ultra 上運行速度約為每秒 115 個 token。最近發布的知名 MoE 模型包括 DeepSeek R1、Qwen 3.5 和 MiniMax M2。