TRL 實現增量權重同步以降低異步 RL 成本
trl 合併了一個實現增量權重同步的 pr，通過僅上傳變動權重，將 qwen3-0.6b 每步數據傳輸量從 1.2 gb 降至 20-35 mb。
Hugging Face 合併了一個針對 TRL 的拉取請求，引入了稀疏增量權重同步，解決了非同步強化學習中的頻寬瓶頸。通過識別出 98-99% 的 BF16 權重在優化器步驟之間保持位元相同，新實作僅上傳修改後的權重作為稀疏 SafeTensors 檔案。在 Qwen3-0.6B 上的測試將每步的有效載荷從 1.2 GB 降低到 20-35 MB，從而實現了分散式訓練，其中訓練器和推理引擎在沒有共享集群或 RDMA 的情況下在單獨的基礎設施上運行。