하루 만에 도메인 특화 임베딩 모델 구축하기
NVIDIA와 Hugging Face가 단일 GPU로 하루 이내에 도메인 특화 문서를 대상으로 임베딩 모델을 파인튜닝하는 레시피를 공개했습니다. 이 파이프라인은 LLM으로 합성 QA 쌍을 생성하고 하드 네거티브 마이닝(hard negative mining)을 적용해 수동 라벨링을 없애줍니다. Jira 데이터에 대한 내부 테스트에서 recall@60이 26% 향상되었고, NVIDIA 문서 데이터에서는 recall@10이 10% 이상 향상되었습니다.
엔비디아(NVIDIA)와 허깅 페이스(Hugging Face)가 24시간 이내에 단일 GPU에서 도메인별 임베딩 모델을 훈련하는 가이드를 출시했다. 이 파이프라인은 NeMo Data Designer를 활용하여 LLMs를 사용하여 도메인 문서에서 합성 질문-답변 쌍을 생성하여 수동 라벨링의 필요성을 없앴다. 또한 어려운 검색 작업에서 모델 정밀도를 향상시키기 위해 하드 네거티브 마이닝(hard negative mining)을 구현했다. 실제 응용 프로그램에서 Atlassian은 JIRA 데이터 세트에 적용했을 때 Recall@60에서 26% 증가했다고 보고했으며, 엔비디아의 문서 테스트에서는 Recall@10 및 NDCG@10에서 10% 이상의 이득을 보였다. 이 튜토리얼은 오픈 소스 Llama-Nemotron-Embed-1B-v2 모델을 미세 조정한다.