ACE Robotics、南洋理工大学と共同でMundoを発表：探索・インタラクションが可能なロボット向け世界モデルを構築

このほど、ACE Roboticsは南洋理工大学S-Labと共同で、特定の環境を対象に構築する、探索・インタラクションが可能な世界モデル——Mundoを発表しました。

Mundoは、Atlasによるシーン再構築、自由視点探索、時空間シミュレーションを基盤に、物体の質量や摩擦などの物理属性をシーンプログラムに組み込み、物理エンジンによって運動や衝突を計算します。また、エージェントの呼び出しにも対応しており、コードで物体の属性や動作を定義し、動画モデルによるレンダリングと組み合わせることで、少量の映像を、自由に探索でき、プログラム可能なインタラクションに対応し、ロボットのナビゲーションや操作の訓練に利用できる3次元の世界へと変換します。

シーンは見えるだけでなく、動作に応答し、変化を記録できます。これにより、ロボットの訓練やテストのための環境として機能します。

この機能は、ロボットが具体的な商用環境に進出するための基盤となります。ACE RoboticsのKairosを中核とする世界モデル技術体系において、Mundoは環境モデリング、訓練データ生成、シミュレーション訓練の機能を補完し、ロボットの環境適応と方策最適化を支援します。

Project：

https://mundo-world-model.github.io/

Blog：

https://huggingface.co/blog/Luo-Yihang/mundo-world-model         

少量の画像から専用の世界モデルを構築

空間をまたぐ長距離パスの生成に対応

Mundoは、少量の画像や動画を、継続的に探索できる3次元空間へと拡張します。同じ参照画像のセットから複数のカメラパスに対応できるほか、より広いシーンではコンテキストを動的に選択し、数十秒から数分間にわたる探索映像を連続的に生成できます。

具体的には、Mundoは実在する場所のコンテキスト映像を起点に、まず3次元プロキシを構築して異なる視点間の空間関係を確定し、指定されたカメラパスに沿って新たな視点を生成します。

今回展示されたシーンでは、1〜12枚の画像を入力することで、部屋の家具や空間構造を中心に探索できます。

たとえば、オフィスではデスクのそばから窓際まで回り込むことができ、住宅では庭から室内へ入ることができます。カメラの移動中、入力画像は撮影済みのレイアウト、外観、細部を制約し、モデルは撮影されていない領域を推論して補完します。参照視点を増やすことで、シーンにより多くの実在に基づく情報を与え、補完の不確実性を低減できます。

この機能は実在する場所に限られません。1枚の絵画や生成画像から、その構造やスタイルを探索可能な3次元空間へと拡張できます。より広い環境に対しては、Mundoは数十枚のコンテキスト画像を用いて分割生成し、重複フレームによって前後のセグメントをつなぎ合わせることで、数十秒から数分間にわたる連続的な長距離パス探索を実現します。

Mundoは、撮影された一つひとつの視点を、継続的に入り込んで探索できる空間として構成します。ロボットの環境適応において、これは現場映像をタスク環境構築の入口とし、後続のナビゲーションやインタラクション訓練に空間的な基盤を提供できることを意味します。

物体に物理属性を付与

押す・引く・衝突に計算可能な応答を実現

ロボットがシーン内で練習するには、環境が動作に応答できなければなりません。引き出しを開ける、椅子を押す、物体が床に落ちるといった動作には、それぞれ対応する位置の変化と接触関係が必要です。

Mundoではコードによって世界を編集できます。シーンプログラムで物体の名称、サイズ、位置・姿勢を記述し、質量や摩擦などの物理属性を設定できます。スクリプトで動作と加える力を定義し、物理エンジンが重力と接触制約のもとで物体の応答を計算することで、運動軌跡、接触位置、衝突力を取得します。その後、Mundoは環境の参照画像と組み合わせ、これらの変化を対応するシーンにレンダリングします。

これにより、環境に明確な操作の入口が生まれます。ユーザーはごみ箱を動かしたり、モニターを押したり、椅子を引いたり、引き出しを開けたりできます。また、物体の材質や重力条件を変更し、設定の違いによる応答を観察することも可能です。物理過程における速度、接触点、衝撃力などの状態も、生成映像と同期して表示できます。

この過程では、3次元プロキシとシーンプログラムが「物体がどこにあり、何が変化したのか」を記録し、物理エンジンが運動を計算し、動画モデルが環境に適合した視覚結果を表現します。幾何、物理、外観がそれぞれ明確な役割を担うことで、インタラクティブな環境を構成します。

各インタラクションに追跡可能な状態と計算可能なプロセスを持たせることが、シーンを「見られる」ものから「使える」ものへと進化させる鍵となります。 Mundoは物理インタラクションを再構築環境に取り入れ、ロボットの動作訓練と結果分析に具体的な根拠を提供します。

ナビゲーション、操作、4次元シミュレーションを同一環境で連携

ロボットの訓練環境を構築

同一のカスタムシーン内で、Mundoはロボットの移動と操作にも対応し、環境の再構築をロボットのテストと訓練へとつなげます。

ナビゲーションでは、3次元プロキシが物体のカテゴリ、位置、障害物、通行可能な領域などの情報を提供し、経路プランナーがそれに基づいてルートを探索します。Mundoは、さまざまなロボットがルートに沿って移動する一人称視点と三人称視点の映像を生成し、空間レイアウトとロボットが移動中に観測する内容を結び付けます。

操作では、Mundoがインタラクションの対象となる物体の幾何属性と物理属性を構築し、異なる形状のロボットが同じタスクに挑戦できるようにします。たとえば、リンゴをボウルに入れる、缶をトレーに載せる、積み木を積むといったタスクです。システムは外部視点に加え、ロボットの頭部カメラや手首カメラの視点も生成し、タスクの軌跡と物理インタラクションの状態を保持することで、訓練データの生成とシミュレーションテストを支援します。

視覚的な観測とインタラクションの状態が対応することで、研究者はロボットが「何を見て」「何をしたのか」を組み合わせて実行過程を分析し、実環境に入る前に方策を比較・調整できます。

Mundoは空間探索を時間軸へと拡張します。複数のカメラで記録した動的なイベントについては、新たな視点からその過程を表示できます。画像をもとに構築したシミュレーションイベントについては、重力と接触力学によって運動を計算します。特定の時点で時間を一時停止してからカメラを移動させることで、同じ瞬間を複数の角度から観察でき、「バレットタイム」効果を生み出して、動作の細部や遮蔽関係の確認を支援します。

ナビゲーションから操作、さらに4次元の時空間観察まで、Mundoはロボットが繰り返し練習でき、複数の角度から検証できる環境を提供します。ホテルでの応用では、チームがすでにMundoを利用してフロアやランドリーエリアを再構築し、ナビゲーションに空間情報とセマンティック情報を提供しています。また、洗濯機のドアを開けるといったインタラクションもシミュレーションし、ロボットによるタスク理解と訓練を支援しています。

世界モデルの産業上の価値は、実際のタスクにどのように貢献するかによって示されます。ACE RoboticsのKairosを中核とする世界モデル技術体系において、Mundoは具体的な環境モデリングとシミュレーション訓練の機能を補完し、現場でのデータ収集、データ生成、方策最適化をつなぎ、ロボットが実際の作業環境に進出することを支援します。