大模型在晶体操作任务中集体翻车,中科大发布AtomWorld基准揭示Scaling Law失效边界

首页 / AI资讯 / AI4S

0:00
0:00
1x
定时

过去几年,大模型领域最成功的经验总结莫过于Scaling Law,只要模型足够大、数据足够多,能力就会持续涌现。但一项最新发布的材料学基准测试,给这种乐观情绪带来了不一样的视角。由中国科学技术大学苏州高等研究院、新南威尔士大学等机构联合在ICML 2026发布的AtomWorld基准测试,用一系列真实的原子操作任务证明:Scaling Law在受物理规则约束的材料实操任务面前,远远达不到预期。

一、理解不等于操作:大模型的"眼高手低"困境

在科学领域,大模型已经展现出了惊人的理解力:读懂文献、预测材料性质、解析晶体结构,甚至辅助科学发现。比如Anthropic的Claude Science将科研拆成可审计的流水线,实现综述写作效率提升10倍;Google DeepMind的GNoME用图神经网络预测了约220万个晶体结构。这些成绩让人形成一种普遍认知:既然模型能够看懂材料相关知识,完成原子搭建、结构调整这类实操任务理应顺理成章。但AtomWorld的研究结果无情地戳破了这个幻想。

AtomWorld基准的核心是一系列原子操作任务:构建特定材料的表面、在晶格特定位点替换原子、在指定间隙位置嵌入新原子等。这些任务对材料学研究者来说是基本功,但对大模型而言却成了难以逾越的障碍。研究团队测试了包括GPT-5.6 Sol、Claude Fable 5、DeepSeek V4、Gemini 3.5 Flash在内的11个主流大模型,结果令人大跌眼镜,没有任何一个模型在所有任务上的平均得分超过60%。即便是表现最好的模型,在"构建金属表面"这样的基础任务上也多次出错,把面心立方结构搭成了体心立方。

二、Scaling Law失效的深层原因

为什么大模型在文本和图像领域表现得如此出色,却在原子操作任务上集体翻车?研究团队认为,根本原因在于训练数据的范式差异。大模型的训练数据主要来自互联网文本和图像,这些数据蕴含的是"关于现实世界的知识"而非"在现实世界中操作的能力"。一个模型可能读过一百篇关于晶体结构的论文,也能准确回答"什么是面心立方", 但它从未在训练中真正"动手"操作过原子坐标。

更具体地说,Scaling Law的有效性依赖于三个假设:数据量足够大、任务的本质是模式识别、数据的分布足够均匀。原子操作任务恰好违背了第三条假设,材料科学中的原子排列是高度约束的结构化数据,存在大量"数学上可能但物理上不可能"的配置。大模型在生成原子坐标时,虽然表面上看排列整齐,但经过物理验证就会发现原子间距不合理、对称性被破坏等问题。这就像一个人虽然能把"漂亮的房子"画得像模像样,但从工程角度看,承重墙放在了不该放的位置。研究团队指出,AI for Science需要从Scaling Law转向Action Scaling,着力提升模型在真实操作中的能力,而非仅仅依靠参数规模的扩张。

三、AtomWorld基准的设计哲学与产业启示

AtomWorld的设计标准极高,所有测试任务都附带严格的物理约束规则和原子级精度的验证脚本。任务的难度被分为三级:基础级包含构建标准晶体表面和替换原子等操作;进阶级需要完成掺杂、吸附和缺陷修复等任务;挑战级则要求模型自主设计具有特定功能属性的晶体结构。整个基准包含超过5000个原子操作实例,覆盖金属、半导体、陶瓷等10大类材料。每项任务的评分不仅考虑了结果的正确性,还考核了原子间距误差、晶格畸变率等微观质量指标,评审标准比材料学本科实验课还要严格。

对于AI4S产业而言,AtomWorld的发现提醒了一个关键问题:在科学智能领域,不能简单将"大"等同于"好"。从药物分子设计到新材料筛选,AI驱动的科学研究正在走向产业落地,但如果连最基本的晶体结构操作都无法可靠完成,那么在关键的科学发现任务中过度依赖AI可能带来严重的风险。研究团队呼吁,AI for Science应该更注重"操作能力"的训练,开发专门的原子操作数据集和物理模拟器,让模型在学习理论的同时也能掌握实操技能,未来的科学AI既要是理论家,更要是工艺师。

四、AtomWorld对AI4S研究的实际指导意义

AtomWorld基准的发布不仅是一次技术测试,更对AI4S的研究方向提供了明确的指导。研究团队发现,在AtomWorld任务中表现较好的模型都有一个共同特点:它们不是依赖更大的参数规模,而是依赖更精准的物理约束理解。这意味着在材料科学领域,模型架构设计的优化方向应该从"更深更宽"转向"更懂物理"。团队提出了一个名为"物理约束微调"的新训练范式,在标准语言建模损失之外增加了原子间势能约束和对称性约束,实验证明仅需少量微调就能在AtomWorld上提升超过10个百分点的准确率,为后续研究指明了明确的优化方向。这意味着硬件层面的计算效率和算法层面的模型设计需要协同进化,AI4S才能真正从"辅助工具"变为"科研主力"。

来源:ICML 2026 发布时间:2026-07-17