Copilot의 기본 Auto 모드, 고정관념 날조
Microsoft Copilot의 기본 Auto 모드는 동일한 데이터셋을 분석할 때 국가별 고정관념과 가짜 통계를 만들어내며, 이는 ChatGPT 같은 추론 모델로 수동 전환하면 해결되는 문제다.
수학자 아담 쿠차스키(Adam Kucharski)는 Microsoft Copilot의 자동 모드가 텍스트 데이터를 분석할 때 이탈리아인은 영국인보다 예술에 더 관심이 많다며 기본 데이터 세트가 동일함에도 불구하고 국가별 차이를 조작한다는 것을 입증했다. 이 도구는 자동으로 추론 모델을 선택하지 못하고, 통계 분석보다 언어적 고정관념에 의존하는 더 단순한 모델을 기본으로 한다. 고급 추론 모델로 수동 전환하거나 ChatGPT 및 Claude Opus와 같은 도구를 사용하면 AI가 코드를 실행하도록 강제하여 중복을 정확하게 식별하고 환각 보고서를 방지한다. 이는 데이터 분석을 위해 기본 AI 설정을 사용하는 기업에게 중요한 위험을 강조한다. 이러한 도구들은 자신 있게 현실 기반이 없는 결과를 보고하기 때문이다.