Apollo Research, Synthetic Document Finetuning의 실용적 개선점 상세 공개

아폴로 리서치(Apollo Research)는 목표 사실이 참인 LLM 생성 문서에 모델을 훈련하여 모델에 신념을 효과적으로 심어주는 방법인 합성 문서 미세 조정(Synthetic Document Finetuning, SDF)을 구현하기 위한 실용 지침을 발표했다. Slocum et al.(2025)이 확립한 파이프라인을 따랐지만, 팀은 단일 이름이 439,000번 등장하는 모드 붕괴와 같은 대규모 생성에서 특정 실패 모드를 식별하고 '안티 유니버스(anti-universe)' 네거티브 프롬프트와 무작위 이름 시딩을 사용하여 이를 해결했다. 또한, 하드 제약을 적용하기 위해 모델 등급 품질 필터링을 사용하고 대규모로 확대하기 전에 '유니버스' 설명을 구체화하기 위해 작은 문서 배치에 대한 반복적인 테스트를 수행할 것을 권장한다. 정성적 대화 기반 평가는 모델이 새로운 신념을 내재화했는지 확인하고 그것이 어떻게 표현되는지 이해하는 가장 신뢰할 수 있는 방법이다.