논쟁(Debate)은 비판 모델이 판별자를 능가할 때만 약한 판별자에게 도움
AI 논쟁 연구에 따르면 약한 판별자는 비판 모델이 판별자 자신의 오류 분류 능력을 능가할 때에만 정답을 더 잘 식별하는 것으로 나타났습니다.
클로드 오푸스 4.6과 같은 모델을 오푸스 4.5와 같은 약한 심판과 페어링한 연구에서 토론이 컨설팅보다 F1 점수에서 약 14-16 퍼센트 포인트 우수한 것으로 나타났다. 그러나 이는 특정 조건에서만 해당되는 결과이다. 토론은 비판 모델이 심판의 분류 능력을 초과하고 심판이 비판을 권위주의적으로 다루지 않고 적극적으로 검증할 때 성공했다. 연구진은 첫 비판 메시지가 주로 이익을 가져왔으며 반박 라운드가 추론 중에 거의 가치를 추가하지 않는다는 것을 발견했다. 결과는 토론이 확장 가능한 감독에 대한 부분적인 해결책을 제시하며, 감사원이 실제로 심판이 놓칠 오류를 식별할 수 있는지 확인하기 위해 감사가 필요하다는 것을 시사한다.