NVIDIA Nemotron 3 Nano Omni、長コンテキストのオムニモーダルインテリジェンスを実現
NVIDIAは、ドキュメント・音声・動画エージェント向けのオープンなオムニモーダルモデル「Nemotron 3 Nano Omni」をリリースした。Mamba-Transformer MoEバックボーンと新エンコーダを組み合わせ、100ページ超のドキュメントや長尺動画を処理する。ベンチマークではmm-longbench-doc、voicesense、worldsenseで首位となり、競合比最大9.2倍のシステム効率を達成している。
NVIDIAは、テキスト、画像、ビデオ、オーディオ入力をサポートするNemotronラインを拡張する新しいオープンモデルであるNemotron 3 Nano Omniをリリースした。アーキテクチャは、Nemotron 3ハイブリッドMamba-Transformer Mixture-of-Expertsバックボーンと、C-RADIOv4-HビジョンエンコーダーおよびParakeet-TDT-0.6B-v2オーディオエンコーダーを組み合わせたものである。複雑なドキュメント分析（100ページ以上のファイルを処理可能）、自動音声認識、長時間のオーディオビデオ理解、エージェントコンピュータの使用、および一般的なマルチモーダル推論の5つの特定のエンタープライズワークロードをターゲットとしている。
NVIDIAは、このモデルがMMlongbench-Doc、OCRBenchV2、WorldSense、およびVoiceBenchなどのリーダーボードで最高の精度を達成していると主張している。効率メトリックは、Nemotron 3 Nano Omniが、代替モデルと比較して、マルチモーダルユースケースで最大9倍のスループットと2.9倍のシングルストリーム推論速度を実現し、MediaPerfで最もコスト効率の高いオープンビデオ理解モデルとしてランク付けされていることを示している。BF16、FP8、およびNVFP4のチェックポイントは、Hugging Faceで利用できる。