随着 AI 技术的发展，从一张普通图像生成若干三维物体，已经不再遥不可及。但对于机器人训练、数字孪生和具身智能仿真而言，“看起来像”只是起点。这些生成的三维物体要想真正成为可由物理引擎驱动的仿真场景，还必须具备统一的尺度与布局、合理的支撑和接触关系，以及在重力与碰撞作用下保持稳定的能力，简单地说，就是合理的空间和物理关系。

真正困难的，不是让三维场景“看起来合理”，而是让它在物理世界里放得对、站得稳、跑得起来。

为解决这一问题，飞捷科思研发团队提出了新的技术路线，系统以一张 RGB 图像和少量用户提示为输入，即可实现物体及其关系的自动理解，并恢复出多个可独立编辑的三维对象与场景布局，再通过视觉对齐、接触校正和重力稳定化，最终输出可以继续进入物理仿真、交互系统和机器人任务的仿真就绪场景。这项工作是飞捷科思即将于 7 月 19 日正式全球首发的 Fysiverse 物理世界模型体系中 Fysiverse-3D的一部分。

近期，NVIDIA GEAR、斯坦福大学等团队推出的 SimFoundry 展示了从真实观测构建可交互仿真场景的潜力。Fysiverse-3D 沿着同一 Real-to-Sim 方向，但进一步降低了输入门槛：只需单张图像，并以管线开源的方式面向研究者和开发者。

可交互仿真资产

为什么传统单图三维生成技术，难以服务于机器人仿真

单张图像能够提供外观、轮廓、遮挡和局部语义，却无法直接给出物体背面结构、真实深度、场景尺度以及不可见区域中的接触状态。若只是把多个独立生成的三维模型简单拼接在一起形成场景，往往会在进入物理仿真前暴露四类问题：

尺度与布局失真

物体各自看起来合理，但放在一起后比例不一致、位置偏移，甚至出现“桌子比杯子还小”等场景级错误。

二维观测与三维场景错位

生成场景从原始视角重新渲染时，物体的轮廓、中心和占画面比例可能无法与输入图像对应。

接触关系被破坏

杯子可能悬浮在桌面上，机械臂可能穿入工作台；如果只做几何分离，又可能把本应存在的支撑关系错误拆开。

重力作用下迅速失稳

轻微悬空、重心偏移和接触误差在静态渲染中不明显，却会轻易导致动态仿真过程中出现物体倾倒、滑动、漂移或场景坍塌。

因此，Fysiverse-3D 不把单图场景生成视为一次性的“生成完成”，而是将其设计为一条由视觉、几何与物理约束共同驱动的逐级闭环。

Fysiverse-3D 管线：将单图观测闭环到仿真就绪场景

看懂场景：场景解构与关系建模

系统首先分割图像中的独立物体，为每个对象建立贯穿分割、三维生成和物理仿真的一致身份；随后识别物体类别、用途和空间关系，构建场景语义关系图。关系图不仅描述“有什么”，还记录“谁支撑谁和谁与谁相邻”，为后续的空间布局恢复与物理校正提供先验。

场景搭建：物体重建与尺度布局协同恢复

Fysiverse-3D 为每个对象生成独立三维模型，并同步估计其在场景中的位置、朝向和尺度比例。系统输出的不是一组彼此无关的资产，而是具有基本空间结构的完整初始场景。同时，每个对象仍保持独立实例，便于后续编辑、交互和动力学处理。

观测对齐：基于原图的整体到局部迭代优化

系统从输入图像对应的视角重新渲染生成场景，并将物体轮廓、中心位置和投影面积与原图进行比较。优化校正相机与整体场景的视角关系，再逐个调整物体的位置、姿态和尺度，避免把全局视角误差错误地归因到某个局部对象。

接触校正：语义约束下的碰撞与支撑修复

视觉一致并不代表三维接触关系正确。系统在检测穿插与间隙时，引入第一阶段的关系图：对于“放置在上方”“安装于表面”等支撑关系，优先沿合理方向调整，使上方对象落到支撑面；对于语义上不应接触的对象，则在确认真实穿插后进行分离。复杂物体还可由更简单的碰撞几何近似，以兼顾精度与仿真效率。

稳定验证：重力环境下的物理稳定化

完成视觉与接触校正后，场景被放入物理引擎并施加重力。悬空对象自然下落，轻微接触偏差得到调整，系统同时观察是否出现明显倾倒、滑移或坍塌。最终输出的是在基础碰撞与重力条件下能够保持稳定的场景状态，而不是只在某一视角下成立的静态画面。

物理稳定化的多资产自然下落

新管线的意义：降低场景构建门槛，扩大仿真世界供给

传统仿真环境通常依赖多视角扫描、人工建模、手工摆放和逐项碰撞调试。流程成本高、周期长，难以快速覆盖大量真实场景。Fysiverse-3D 尝试把这一过程压缩为“单张图像 + 少量提示”，让更普遍的二维观测成为三维仿真环境的起点。

这一工作的意义并不仅仅是提高建模效率。对具身智能而言，训练数据和仿真环境的规模、变化性与真实性直接影响策略泛化。更低成本的 Real-to-Sim 管线，可以帮助研究者更快构建场景、复现问题、生成任务并开展系统化评测，也为真实世界数据与物理仿真引擎之间建立了更直接的连接。

Fysiverse-3D：让 Real-to-Sim 成为可运行、可验证、可继续演进的能力

在技术功能上，Fysiverse-3D 证明了单张图像作为仿真世界入口的可行性。而在技术伦理与生态建设上，其开源属性具有更深远的意义。研究者与开发者可以基于公开代码复现流程、验证不同场景，并在物体生成、布局恢复、碰撞近似、物理稳定和机器人任务接口等环节进行扩展。飞捷科思希望通过逐步开放其自主研发生态技术体系中的重要模块，推动感知、重建、仿真和决策之间形成更完整的技术链条，为机器人、数字孪生、自动驾驶和智能制造提供开放、可信的物理智能基础设施。

文章纠错