大晓机器人联合南洋理工大学发布Mundo：构建可探索、可交互的机器人世界模型

近日，大晓机器人联合南洋理工大学S-Lab发布面向具体环境构建，可探索、可交互的世界模型——Mundo。

Mundo 在 Atlas 场景重建、自由视角探索和时空模拟的基础上，额外将物体的质量、摩擦等物理属性纳入场景程序，通过物理引擎计算运动与碰撞；同时支持调用智能体，用代码定义物体属性和动作，结合视频模型渲染，将少量影像转化为可自由探索、可编程交互、可用于机器人导航与操作训练的三维世界。

场景既能被看见，也能响应动作、记录变化，进而成为机器人训练与测试的环境。

这一能力为机器人进入具体商业场景提供了支持。在大晓机器人以 Kairos 为核心的世界模型技术体系中，Mundo 补充环境建模、训练数据生成与仿真训练能力，帮助机器人完成场景适配和策略优化。

Project：

https://mundo-world-model.github.io/

Blog：

https://huggingface.co/blog/Luo-Yihang/mundo-world-model
 

少量图像构建专属世界模型

支持跨空间长路径生成

Mundo 将少量图片或者视频，拓展为可持续探索的三维空间，同一组参考图像可以支持多条相机路径；面对更大场景，还可动态选择上下文，连续生成数十秒至分钟级的探索画面。

具体来看，Mundo从真实场所的上下文影像出发，先建立三维代理，确定不同视图之间的空间关系，再沿指定相机路径生成新视角。

在此次展示的场景中，输入1至12张图像，即可围绕房间中的家具和空间结构展开探索。

例如，一间办公室可以从桌面旁绕到窗边，一处住宅可以从庭院进入室内。相机移动时，输入图像约束已经拍到的布局、外观和细节，模型则对没有被拍到的区域进行推断补全。增加参考视图，就能为场景提供更多真实依据，减少补全的不确定性。

这套能力也不限于真实场所：一张画作或生成图，就能把其中的结构与风格延伸成可探索的三维空间。面对更大环境，Mundo 用数十张上下文图像分段生成，靠重叠帧衔接前后片段，支撑数十秒到分钟级的连续长路径探索。

Mundo 将拍下来的一个个视角，组织成可以持续进入和探索的空间。对于机器人场景适配，这意味着现场影像能够成为构建任务环境的入口，为后续导航和交互训练提供空间基础。

物体具备物理属性

推拉碰撞都有可计算的响应

要让机器人在场景中练习，环境必须能够响应动作。抽屉被拉开、椅子被推动、物体落到地面，都需要对应的位置变化和接触关系。

Mundo 可以通过代码编辑世界，通过场景程序描述物体的名称、尺寸和位姿，并为其配置质量、摩擦等物理属性。脚本定义动作和施加的力，物理引擎计算物体在重力与接触约束下的响应，得到运动轨迹、接触位置和碰撞力。随后，Mundo 结合环境参考图像，将这些变化渲染到对应场景中。

这让环境拥有了明确的操作入口。用户可以拖动垃圾桶、推动显示器、拉动椅子或打开抽屉，也可以改变物体材料与重力条件，观察不同设置下的响应。物理过程中的速度、接触点和冲击力等状态，还能与生成画面同步展示。

在这一过程中，三维代理与场景程序负责记录“物体在哪里、发生了什么变化”，物理引擎负责计算运动，视频模型负责呈现与环境相符的视觉结果。几何、物理与外观各自承担明确职责，共同构成可交互环境。

让每次交互都有可追踪的状态、可计算的过程，是场景从可观看走向可使用的关键。 Mundo 将物理交互引入重建环境，为机器人练习动作及分析结果提供了具体依据。

在同一环境贯通导航、操作与四维模拟

构建机器人训练场

在同一个定制场景中，Mundo 进一步支持机器人移动和操作，将环境重建连接到机器人测试与训练。

导航方面，三维代理提供物体类别、位置、障碍物和可通行区域等信息，路径规划器据此寻找路线。Mundo 可以生成不同机器人沿路线行进的第一人称和第三人称画面，将空间布局与机器人沿途观察联系起来。

操作方面，Mundo 为参与交互的物体建立几何和物理属性，让不同形态的机器人尝试同一任务，例如将苹果放入碗中、将罐子放上托盘或堆叠积木。系统生成外部视角以及机器人头部、腕部相机视角，同时保留任务轨迹与物理交互状态，为训练数据生成和仿真测试提供支持。

视觉观测与交互状态相互对应，使研究人员能够结合机器人“看到什么”和“做了什么”分析执行过程，并在进入真实场景前比较、调整策略。

Mundo 还将空间探索拓展到时间维度。对于多相机记录的动态事件，可以从新视角呈现过程；对于基于图像构建的模拟事件，则通过重力和接触动力学计算运动。在选定时刻暂停时间，再移动相机，即可从多个角度观察同一瞬间，形成“子弹时间”效果，辅助查看动作细节和遮挡关系。

从导航到操作，再到四维时空观察，Mundo 为机器人提供了可反复演练、可多角度检查的环境。在酒店应用中，团队已利用它重建楼层与洗衣区域，为导航提供空间和语义信息，并模拟洗衣机开门等交互，为机器人理解任务与开展训练提供支持。

世界模型的产业价值，要由它对真实任务的贡献来体现。在大晓机器人以 Kairos 为核心的世界模型技术体系中，Mundo 补充具体环境建模与仿真训练能力，连接现场采集、数据生成和策略优化，服务于机器人进入实际工作场景。