Qwen3-VL-Embedding 파인튜닝으로 Visual Document Retrieval 정확도 향상
tom aarsen이 sentence transformers를 사용해 멀티모달 임베딩 모델을 파인튜닝하는 가이드를 공개했습니다. qwen/qwen3-vl-embedding-2b를 visual document retrieval 작업에 파인튜닝한 결과, 모델은 베이스 모델의 0.888 대비 0.947의 ndcg@10을 달성했습니다. 이 커스텀 모델은 자신보다 최대 4배 큰 기존 vdr 모델들을 능가했습니다.
Hugging Face의 기술 책임자인 Tom Aarsen은 Sentence Transformers를 사용하여 멀티모달 임베딩 및 리랭커 모델 훈련 및 미세 조정에 대한 가이드를 발표했다. 이 튜토리얼은 텍스트 쿼리를 문서 페이지 이미지와 일치시키는 시각적 문서 검색 (VDR) 워크플로를 보여준다. Aarsen은 Qwen/Qwen3-VL-Embedding-2B 모델을 미세 조정하여 평가 데이터에서 NDCG@10 점수를 0.888에서 0.947로 개선했다. 이 성능 향상은 더 크고 기존의 VDR 모델 (매개변수 수의 최대 4배) 을 능가하며, 작업별 적응의 효율성을 강조한다.