近日，中国科学技术大学机器科学家催化自动化实验室相关压力测试研究正式对外公开，实测揭示当前大模型在真实物理实验室落地的现实短板。
研究团队搭建自动化机器催化实验室平台，集成 45 套模块化工作站，覆盖材料合成、表征分析、催化性能测试全流程，将实验操作封装为机器可读标准化技能，实现 AI 智能体直接调度实体实验设备开展科研任务。
本次评测完成大规模压力测试，组合 6 套智能体框架与 9 款大模型形成 48 种配置，围绕 32 项专家定义的科研任务，累计开展 4608 次评测试验，评估维度不局限于 AI 生成实验方案，重点考核方案核验、设备下发、无人工干预完整执行全链路能力。
实测数据显示，全部测试中仅 3.3% 工作流可不经人工修复完整执行，即便最优模型组合，自主执行率也仅 28.1%，暴露出大模型长流程实验规划、适配实体设备约束的明显短板。
该成果为黑灯实验室、AI 科学智能体的迭代提供真实基线参考，表明 AI 生成的实验方案不能直接照搬用于实体实验，人机协同仍是现阶段自动化实验室的主流模式。
