LLM未能通过简化版合作德州扑克策略测试
开发者在简化的合作德州扑克游戏中测试LLM,以考察其是否能利用逻辑侧信道进行通信。尽管确定性解法显而易见,但前沿模型无法推导出最佳策略,表现仅略优于随机猜测。
该实验探究了LLM在受限多智能体环境中的逻辑推理和策略制定能力。游戏“the gang”要求玩家仅根据可观察的动作序列来推断卡片分布和协调代币分配,这是一项人类可以轻松使用计时或摩尔斯密码等简单信号编码解决的任务。开发者绕过了对前沿模型的昂贵API调用,因为初始测试中使用本地开源模型的结果令人失望。尽管存在确定性解决方案可以在大约7轮内完成四人游戏,但模型表现出无法发现这些算法捷径,而是依赖概率猜测。