ドメイン特化型embeddingモデルを1日以内で構築
nvidiaとhugging faceが、単一のgpuを使用して1日以内にドメイン特化型ドキュメントでembeddingモデルをファインチューニングするレシピを公開しました。このパイプラインはllmsを使って合成qaペアを生成し、hard negative miningを行うことで手動ラベリングを不要にします。jiraデータでの内部テストではrecall@60が26%向上し、nvidia docsデータではrecall@10が10%以上向上しました。
NVIDIAとHugging Faceは、24時間以内に単一のGPUでドメイン固有の埋め込みモデルをトレーニングするためのガイドをリリースした。パイプラインは、NeMo Data Designerを使用して、LLMからドメインドキュメントの合成質問-回答ペアを生成し、手動ラベリングの必要性を排除する。また、難しい検索タスクでのモデル精度を向上させるために、ハードネガティブマイニングを実装している。実際的なアプリケーションでは、Atlassianは、JIRAデータセットに適用した場合にRecall@60が26%増加したと報告しており、NVIDIAのドキュメントテストでは、Recall@10とNDCG@10が10%以上向上した。チュートリアルでは、オープンソースのLlama-Nemotron-Embed-1B-v2モデルを微調整する。