Hugging Face 用 1500 美元在 24 小时内训练出竞品级文生图模型
hugging face 僅用 24 小時和 1500 美元的算力預算，訓練了一個具備競爭力的文生圖擴散模型。這次“prx part 3”速通利用 x-prediction 技術直接在像素空間訓練，無需 vae，並直接從 512px 解析度開始。他們還引入了 l1pips 和基於 dino 的感知損失以加速收斂並提升視覺質量。該團隊已在 github 上開源了訓練代碼和實驗框架。
Hugging Face 展示了一项 24 小时文本到图像训练加速实验，总计算预算为 1,500 美元。该团队结合了架构优化，包括 x-prediction 公式，以直接在像素空间中训练，消除了对 VAE 的需求。这种方法使他们能够直接在 512px 开始训练，并在 1024px 上微调，使用 32 的补丁大小。他们集成了辅助感知损失，特别是 LPIPS 和基于 DINOv2 的损失，应用于所有噪声级别，以提高最终图像质量。该团队在 GitHub 上以开源许可发布了训练代码和框架。