微调 Qwen3-VL-Embedding 提升视觉文档检索精度
tom aarsen 發布了使用 sentence transformers 微調多模態嵌入模型的指南。通過在視覺文件檢索任務上微調 qwen/qwen3-vl-embedding-2b,該模型達到了 0.947 的 ndcg@10,而基座模型為 0.888。該自定義模型的性能超過了現有 vdr 模型,儘管其尺寸達到其 4 倍。
Hugging Face 技术负责人 Tom Aarsen 发布了一份关于使用 Sentence Transformers 训练和微调多模态嵌入和重新排序模型指南。该教程演示了视觉文档检索(VDR)工作流程,将文本查询与文档页面图像匹配。Aarsen 对 Qwen/Qwen3-VL-Embedding-2B 模型进行了微调,在评估数据上将其 NDCG@10 分数从 0.888 提高到 0.947。这一性能提升超过了现有的更大的 VDR 模型(参数量高达 4 倍),突出了任务特定适配的效率。