Google Deepmind, 비디오 생성기를 범용 세계 모델로 전환하다
Google Deepmind의 GenCeption은 비디오 모델을 깊이 추정과 세그멘테이션에 재활용해 90% 더 적은 데이터로 전문 모델에 필적하는 성능을 보였으며, 비디오 생성기야말로 비전 분야에 필요한 세계 모델임을 시사한다.
구글 딥마인드 연구진은 각 특정 작업에 대한 아키텍처 변경 없이 컴퓨터 비전의 밀집 예측 작업(dense prediction tasks)을 해결하기 위해 텍스트-비디오 생성기를 재사용하는 GenCeption 시스템을 발표했다. 깊이 맵(depth maps) 또는 분할 마스크(segmentation masks)와 같은 출력을 표준 RGB 이미지로 변환하고 작업 전환을 위해 텍스트 프롬프트를 사용하여 모델은 단일 빠른 전달 패스(fast forward pass)에서 입력을 처리한다. 벤치마크 결과에 따르면 GenCeption은 7,500개의 합성 비디오 데이터 세트에서만 훈련했음에도 불구하고 Segment Anything와 같은 확립된 특수 모델과 일치한다. 결과는 현실적인 비디오 생성을 위해 요구되는 물리적 및 공간적 이해가 비전의 범용 세계 모델(general-purpose world models)을 위한 기반을 제공함을 시사한다.