拡散モデル、スピードではGPTを上回るも、IQでは匹敵できるか?
bytedanceの8b illada拡散モデルがqwen2.5 baseのベンチマークに匹敵し、非自己回帰アーキテクチャでもgpt型トランスフォーマーと競えることを証明した。
ByteDanceとRenmin大学の研究者らは、12兆トークンからスクラッチで訓練された8bパラメータの拡散言語モデルであるIlladaを紹介した。標準ベンチマークでは、基本モデルは平均スコア63.9を達成し、自己回帰QWen2.5 7Bの63.3をわずかに上回った。しかし、命令チューニング後、Illadaは67.1をスコアリングし、数学とコードのギャップにより、QWen2.5 Instructの77.1に大きく及ばなかった。モデルは、画像拡散モデルと同様の並列双方向処理に依存し、標準のトークン単位の生成に代わる手法を提供する。