Hugging Face 發布用於後訓練的 TRL v1.0
hugging face 發布了 trl v1.0，這是一個包含超過 75 種方法的後訓練庫，涵蓋 ppo、dpo 和 grpo。該庫每月處理 300 萬次下載，並採用適應混亂的設計以應對快速變遷的 ai 範式。它在統一的包內區分了穩定和實驗性代碼。
Hugging Face 發布了 TRL v1.0，一個用於訓練後的大型語言模型的庫。該庫實現了超過 75 種方法，涵蓋了從 PPO 到 DPO 和 RLVR 風格的方法，如 GRPO。它通過避免諸如獎勵模型等剛性抽象來解決 AI 領域的不穩定性，而這些抽象在不同算法中會發生變化。TRL 目前每月支持 300 萬次下載，並被 Unsloth 和 Axolotl 等主要下游專案用作基礎設施。