与以往侧重于考察模型是否能记住知识或遵循固定步骤完成任务的评测方法不同,GeneBench-Pro 更加注重 AI 模型在实际科研情境下的应用价值。它旨在模拟真实科研的复杂性,要求模型在面对不清晰、信息不全甚至包含干扰的数据时,能够进行有效的判断和分析以得出结论。
GeneBench-Pro 评测体系涵盖了基因组学、定量生物学以及转化医学等多个领域,总共设计了 129 道题目。这些题目被划分为 10 个主要领域和 21 个子领域,涉及统计遗传学、群体遗传学、功能基因组学和蛋白质组学等研究方向。每道题目都为模型提供了一份贴近真实科研环境的数据集,并附带简要的实验背景介绍和一个与后续决策相关的目标问题。模型需要自主完成数据探索、选择分析方法,并在此过程中不断调整策略,最终给出准确的答案。
为了规避传统长流程基准测试中常见的评分误差,OpenAI 在构建 GeneBench-Pro 时,将合成数据作为核心方法。这是因为使用历史真实数据出题时,常常存在多条可行的分析路径,可能导致模型即使采用了错误的方法也偶然获得正确答案。
通过使用合成数据,OpenAI 能够完全掌控数据生成的底层因果关系和过程,从而更精确地评估模型是否真正理解了问题,而不是仅仅找到了“捷径”。
目前,OpenAI 已在 Hugging Face 上公开了 10 道 GeneBench-Pro 的示例题目,并提供了交互式界面供外部研究人员进行体验。未来,官方计划将其中 50 道题目提供给 Artificial Analysis 进行第三方独立评估,以检验不同模型在此基准测试上的实际表现。此次评测的严谨性,对于未来人工智能在科学研究领域的应用,尤其是在 2026世界杯 备受瞩目的体育科学分析方面,将具有重要的参考意义。


