目前的AI 3D生成技术发展迅速，用户输入一段文字或一张图片就能在几十秒内得到一个看起来还不错的3D模型。然而这些模型有一个显著的缺陷：它们本质上是几何空壳，只有视觉外观没有物理属性。生成的椅子看起来像椅子，但AI不知道它的座位是硬的还是软的。生成的水龙头看起来像水龙头，但AI不知道它的把手是可以旋转的。这种物理属性的缺失在机器人训练、自动驾驶仿真和虚拟现实交互等场景中是一个严重的问题。机器人需要知道物体的物理属性才能决定如何抓取和使用它们，自动驾驶系统需要知道物体的材质才能评估碰撞风险，VR用户需要感觉虚拟物体的物理真实性才能获得沉浸感。南洋理工大学和上海人工智能实验室联合发布的PhysX-3D项目，正是为了解决这个问题而提出的系统方案。
要让AI学会识别和生成物体的物理属性，首先需要一本教科书。PhysXNet就是这本教科书。研究团队从多个公开的3D模型数据库中收集了超过3000个高精度的3D物体模型，然后对每个模型进行了五大类物理属性的精细标注。这五大类物理属性分别是：表面材质，包括金属、塑料、木材、玻璃、织物、橡胶等常见材质类型，每种材质都有对应的表面粗糙度、反光特性和硬度参数；物理尺寸，包括物体的长宽高尺寸和重量分布，这些参数决定了物体的物理尺度；运动学属性，包括关节类型、旋转轴位置、运动范围和自由度等，这是判断物体是否可动的关键信息；可供性属性，即这个物体可以被用来做什么，例如杯子可以装水、椅子可以坐人、门可以开关；以及动力学属性，包括摩擦系数和弹性系数等，这些参数决定了物体在受力时的反应。标注过程本身就是一个高难度的工程挑战。研究团队采用了一种人类专家与AI协作的混合标注策略。首先由GPT-4o等视觉语言模型进行初步的自动化标注，然后由人类专家对标注结果进行审核和精修。对于最复杂的运动学参数，团队设计了从接触区域计算到平面拟合再到运动轴生成的精密流程。整个数据集的建设耗时超过6个月，最终形成一个包含3000多个物体和超过15000条物理属性标注的综合性数据集。
有了PhysXNet这本教科书，下一步就是教会AI如何生成带有物理属性的3D模型。研究团队设计了PhysXGen生成框架，它采用嫁接与融合的策略，在已有的优秀几何生成模型基础上添加一个专门理解和生成物理属性的物理模块。PhysXGen的双分支架构设计非常巧妙。结构分支继承预训练模型的几何生成能力，负责创造高质量的形状和纹理外观，这是物体的皮囊。物理分支是新增模块，专门学习和生成对应的五大物理属性，这是物体的灵魂。两个分支通过潜空间对齐技术实现深度融合，AI逐渐学会几何特征与物理特性之间的内在关联。实验结果令人振奋。PhysXGen在与传统先几何后GPT的方法进行全面对比中取得压倒性胜利。在几何外观质量方面，新系统不仅保持了预训练模型的优势，甚至还有所提升。在物理属性预测准确度上，PhysXGen在每个核心维度都全面超越了基线方法。其中材质预测误差降低了64%，可供性预测误差降低了72%，运动学属性预测的准确率从基线的55%提升到了89%。这些数据说明物理分支的学习效果非常显著。
PhysX-3D项目的意义远超技术本身。它为整个3D内容生成领域指明了一个全新的方向：从单纯关注皮囊的几何建模走向灵魂与皮囊兼备的物理接地建模。这种变革将深刻影响机器人学、自动驾驶和虚拟现实等众多领域的发展。在机器人训练领域，当前用于机器人强化学习的仿真环境面临一个核心矛盾：虚拟环境中的物体虽然看起来逼真，但物理属性往往是被简化或忽略的。机器人在仿真中学会抓取圆柱体，但到了真实环境中可能连一把不同材质的椅子都抓不起来。因为仿真中的椅子没有正确的摩擦系数和重量分布，机器人学到的抓取策略在真实世界中不适用。有了PhysX-3D的物理属性标注和生成能力，机器人可以更高效地在仿真环境中学习适用的操作策略。在自动驾驶仿真领域，不同材质的物体在雷达和激光雷达信号中有不同的反射特征。一个带有正确物理属性的3D场景可以让自动驾驶系统更真实地模拟传感器数据，提升感知模型在极端场景下的鲁棒性。在游戏和影视领域，带有物理属性的3D资产可以直接导入物理引擎进行实时仿真和碰撞检测，从而大幅提升虚拟世界的真实感。游戏设计师不再需要手动为每个物体设置物理参数，AI生成的模型从产生之初就自带正确的物理属性。目前PhysX-3D的研究成果已经以论文形式发表于arXiv预印本平台。研究团队表示未来将继续扩展数据集规模，覆盖更多类型的物体和更复杂的物理属性，同时优化PhysXGen的生成效率并探索与主流3D内容创作工具的直接集成。