用于AI风险预测的计数论证存在缺陷
文章認為，計數論證（如可能的目標空間龐大）並不能作為ai末日論的證據，因為它們依賴於在不知採樣過程時不相干的均勻先驗。
本文挑战了人工智能安全领域一个常见的论点：由于超级智能的可能目标空间非常庞大，而人类兼容的目标只是其中一个微小的子集，因此默认的结果是灾难。作者通过引用伯特兰悖论（Bertrand's paradox）证明了这种推理在数学上是不成立的，在该悖论中，不同的“合理”的随机选择方法会得出相同事件的不同概率。本文得出结论，将未来人工智能思维的复杂结构投影到一个简单的“目标”子空间上，会创建出一种类似于墨卡托投影（Mercator projection）的失真地图，使得计数论证在没有具体了解训练过程的情况下，不可靠地预测人工智能行为。