Qwen3-VL-EmbeddingのファインチューニングでVisual Document Retrievalの精度が向上
Tom Aarsenが、Sentence Transformersを使用したマルチモーダル埋め込みモデルのファインチューニングに関するガイドを公開しました。視覚的ドキュメント検索タスクでqwen/qwen3-vl-embedding-2bをファインチューニングしたところ、ベースモデルの0.888に対してndcg@10で0.947を達成しました。このカスタムモデルは、自身の最大4倍のサイズの既存VDRモデルを上回る性能を示しました。
Hugging FaceのテクニカルリードであるTom Aarsenは、Sentence Transformersを使用したマルチモーダル埋め込みおよびリランカーモデルのトレーニングと微調整に関するガイドを公開した。チュートリアルでは、テキストクエリをドキュメントページ画像にマッチングするVisual Document Retrieval（VDR）ワークフローを示している。Aarsenは、Qwen/Qwen3-VL-Embedding-2Bモデルを微調整し、評価データでのNDCG@10スコアを0.888から0.947に改善した。このパフォーマンスの向上は、既存のより大きなVDRモデル（パラメータ数最大4倍）を超えており、タスク固有の適応の効率性を強調している。