텍스트 퇴화가 추론 병목을 유발
huggingface 연구에 따르면 텍스트 퇴화는 자기회귀 모델의 구조적 결함으로, 소수의 요청이 전체 추론 시간의 절반 가까이를 소모하게 만든다.
연구원들은 최대 토큰 한계에 도달하고 n-gram 반복 패턴을 나타내는 요청이 추론 지연을 크게 증가한다는 것을 발견했습니다. 반복 페널티 또는 온도 조 정 등의 표준 수정은 근본 원인인 모델의 훈련 목표를 해결하지 못하기 때문에 불충분합니다. 최대 가능성 추정은 전체 시퀀스 품질을 고려하지 않고 즉각적인 다음 토큰 확률을 최적화하여 모델이 시퀀스 종료 토큰을 방출하지 않는 무한 루프에 취약하게 만듭니다.