NVIDIA Cosmos Predict 2.5를 LoRA/DoRA로 로봇공학용 파인튜닝
NVIDIA의 2B 파라미터 월드 모델 Cosmos Predict 2.5는 이제 LoRA와 DoRA를 사용해 단일 80GB GPU에서 파인튜닝하여 합성 로봇 궤적을 생성할 수 있습니다.
엔비디아는 Diffusers 라이브러리를 통해 low-rank adaptation (LORA) 및 weight-decomposed low-rank adaptation (DORA)을 사용하여 자사의 Cosmos Predict 2.5 월드 모델을 미세 조정하기 위한 기술 가이드를 발표했다. 기본 VAE, 텍스트 인코더 및 DIT 가중치를 고정함으로써 이 기술은 메모리 소비를 크게 줄여 단일 80GB GPU에서 훈련을 가능하게 하거나 8개의 H100에서 더 빠른 반복을 가능하게 한다. 이 모델은 잡음 예측을 위해 rectified flow를 사용하여 훈련되며, 92개의 훈련 비디오 데이터 세트에서 픽 앤 플레이스 작업을 위한 합성 비디오를 생성한다. 이를 통해 실제 물리적 궤적을 수집하는 데 드는 높은 비용과 느린 속도를 완화하고 로봇 시연 데이터의 확장 가능한 생성이 가능해진다.