IBMがApache 2.0ライセンスのGranite 4.1 dense LLMをリリース

IBMは、Granite 4.1ファミリをリリースした。これは、3B、8B、30Bのパラメータで利用可能な、高密度のデコーダのみのLLM（Large Language Model）セットである。これらのモデルは、約15兆トークンを使用してゼロから訓練され、最終的に512Kトークンまでの長いコンテキスト拡張を備えた5フェーズのパイプラインで訓練された。よりシンプルなアーキテクチャと少ないパラメータを使用しているにもかかわらず、8B Instructモデルは、前世代の32B Mixture-of-Expertsモデルのパフォーマンスに匹敵するか、それを超える性能を発揮する。

技術的な仕様には、Grouped Query Attention（GQA）、RoPE、SwiGLUアクティベーションが含まれる。トレーニング後の処理には、4.1Mの精選されたサンプルを使用した教師付き微調整と、DAPO損失を伴うGRPOによる強化学習が含まれる。モデルファミリ全体は、Apache 2.0ライセンスの下でリリースされた。