OpenAI 用包含129个案例的 GeneBench-Pro 测试 AI 智能体的 '科研品味'
openai 发布了 genebench-pro，这是一个包含129个问题的基准，旨在测试 ai 智能体处理模棱两可的计算生物学任务的能力。这标志着评估重点从事实检索转向了现实科学发现所需的、注重判断力的分析。
OpenAI 发布了 GenBench-Pro，这是一个严格的基准测试，用于评估 AI 模型如何处理计算生物学研究中固有的模糊性和迭代决策。该基准测试包含 129 个跨统计遗传学、癌症基因组学和临床诊断等领域的问题，要求模型扮演代理角色，而不仅仅是简单的问答引擎。成功的性能取决于“研究品味”，即根据数据可行性和实验修订链接判断的能力。此次发布标志着朝着评估 AI 作为自主科学合作伙伴所需的系统级能力的方向转变。