使用 LoRA/DoRA 针对机器人视频生成微调 NVIDIA Cosmos Predict 2.5
nvidia 的 20 億參數世界模型 cosmos predict 2.5 現可使用 lora 和 dora 在單塊 80gb gpu 上進行微調，以生成合成機器人軌跡。
英伟达（nvidia）发布了一份技术指南，介绍如何使用低秩适应（lora）和权重分解低秩适应（dora）通过diffusers库微调其Cosmos Predict 2.5世界模型。通过冻结基础VAE、文本编码器和DIT权重，该技术显著降低了内存消耗，使得在单个80GB GPU上进行训练成为可能，或在8个H100上实现更快的迭代。该模型使用修正流（rectified flow）进行噪声预测训练，从92个训练视频的数据集生成用于拾取和放置任务的合成视频。这实现了机器人演示数据的可扩展生成，缓解了收集现实世界物理轨迹的高成本和低速度问题。