在一天内构建领域特定的嵌入模型
nvidia和hugging face发布了一个配方，允许在单gpu上不到一天的时间内针对领域文档微调嵌入模型。该管道使用llm生成合成qa对和硬负样本挖掘，消除了人工标注。在jira数据上的内部测试使recall@60提高了26%，nvidia文档数据则将recall@10提高了10%以上。
NVIDIA 和 Hugging Face 发布了一份指南，介绍如何在 24 小时内使用单个 GPU 训练特定领域的嵌入模型（embedding models）。该流程利用 NeMo Data Designer 通过大型语言模型（LLMs）从领域文档中生成合成的问答对，消除了手动标记的需求。它还实现了硬负采样（hard negative mining），以提高模型在困难检索任务上的精度。在实际应用中，Atlassian 报告称，在应用于 JIRA 数据集时，Recall@60 提高了 26%；而 NVIDIA 文档测试显示，Recall@10 和 NDCG@10 提高了 10%以上。该教程对开源模型 Llama-Nemotron-Embed-1B-v2 进行了微调。