맥락 외 추론(out-of-context reasoning), 눈에 보이는 단계 없이 LLM 추론 가능하게
맥락 외 추론(OOCR)은 LLM이 명시적인 중간 단계 없이도 내부 순전파(forward pass)나 학습 과정을 통해 답을 도출할 수 있게 합니다.
맥락 외부 추론(Out-of-context reasoning)은 모델이 복잡한 문제를 해결하기 위해 보이는 맥락 창이 필요하다는 가정에 도전합니다. 연구에 따르면 LLM은 사전 훈련 중에 형성된 표현을 활용하여 산술, 소스 신뢰성 평가 및 유도 함수 학습을 수행합니다. 맥락 내 학습과 구별되는 OOCR은 추론이 모델의 순방향 패스 또는 학습된 가중치 내에서 엄격하게 발생함을 의미합니다. 이러한 행동은 훈련 데이터 기반 전략에 따라 모델이 작동하는 정렬 가짜에서 볼 수 있는 것처럼 정렬 노력을 복잡하게 합니다.