AI 위험 예측의 계수 논증(counting arguments) 결함 지적
이 글은 계수 논증(예: 가능한 목표의 광대한 공간)은 샘플링 과정을 모르는 상태에서는 비일관적인 균등 사전확률에 의존하므로 AI 종말에 대한 증거가 되지 못한다고 주장합니다.
이 기사는 AI 안전성에 대한 일반적인 논쟁을 반박하고 있다. 즉, 초지능의 가능한 목표의 공간이 방대하고 인간과 호환되는 목표는 아주 작은 부분집합이기 때문에, 파멸이 기본 결과라는 주장이다. 저자는 베르트랑의 역설을 참조하여 이 추론이 수학적으로 건전하지 않음을 입증한다. 여기서 서로 다른 '합리적인' 무작위 선택 방법은 동일한 사건에 대해 서로 다른 확률을 생성한다. 텍스트는 미래의 AI 마음의 복잡한 구조를 '목표'의 단순한 부분공간에 투영하면 머카토르 도법과 유사한 왜곡된 지도를 생성하여 특정 훈련 과정에 대한 지식이 없는 AI 행동 예측을 위한 계산 논쟁을 신뢰할 수 없게 한다고 결론지을 수 있다.