谷歌Deepmind将视频生成器转变为通用世界模型

谷歌DeepMind的研究人员发布了GenCeption，这是一个系统，它重新利用文本到视频的生成器来解决计算机视觉中的密集预测任务，而无需针对每个特定任务进行架构更改。通过将深度图或分割掩码等输出转换为标准RGB图像，并使用文本提示来切换任务，该模型在单个快速前向传递中处理输入。基准测试结果显示，GenCeption与已建立的专用模型（如Segment Anything）相匹配，尽管它只在7,500个合成视频的数据集上进行训练。研究结果表明，生成逼真视频所需的物理和空间理解为视觉中的通用世界模型奠定了基础。