QIMMA、自動および人手のパイプラインでアラビア語LLMベンチマークを検証
研究者らは、厳格な品質検証パイプラインを採用した新しいアラビア語LLMリーダーボード「qimma」を公開しました。テストではqwen3-235bとdeepseek-v3を実行し、14のベンチマークから52,000サンプルをフィルタリングして、評価前に低品質なデータを除去します。このスイートには、コード評価用のアラビア語対応humaneval+が含まれ、99%ネイティブコンテンツに焦点を当てています。
QIMMAは、アラビア語の大規模言語モデルの評価において、品質を第一に考えるアプローチを導入し、14のベンチマークからの109のサブセットを、52,000を超えるサンプルの統一されたスイートに統合しました。既存のリーダーボードとは異なり、QIMMAは、Qwen3-235B-A22B-InstructとDeepSeek-V3-671Bを利用した2段階の検証パイプラインを採用し、データをフィルタリングした後、アラビア語のネイティブスピーカーによるレビューを行い、翻訳エラーや文化的ミスマッチを修正しています。結果として得られたベンチマークは、HumanEval+とMBPP+データセットを適応させた、初の Arabic コード評価を含む7つのドメインをカバーしています。