ロボットの世界モデルを入れる基準 ― 個人のアームにはまだ早かった

ロボットの世界モデル（ロボットの動きを入れると、次にカメラに何が映るかを予測する AI）は、2026年11月の時点では、小型のロボットアームにカメラ1〜2台のまま入れて実機の動きを良くした例が見つからず、個人の環境ではまだ入れる段階ではない、というのが今の考えです。 実機の動きを良くした例はどれも、Franka という研究用のアームで集めた大きな公開データ（DROID）と、H100 を何枚も使う計算の上にありました。

この整理で、次の3つが変わります。

• 世界モデルの新しい発表を見たとき、自分の環境で試す価値があるかを、カメラの台数・自分で集めるデータの量・GPU の3つで先に判断できる
• 個人・研究室・企業の研究開発・基盤モデルを作る会社・ロボットを導入する現場の5つの環境ごとに、今使える用途と、入れてよい基準が分かる
• 試す前に見送れた手間がはっきりする。きっかけになった 3D World Simulator をそのまま試すなら、ステレオカメラ5台の用意と位置合わせ、1作業あたり約2時間のデータ集め、RTX 5090 で約16時間の学習を2回、が要るところだった（数字は論文の値で、こちらで測ったものではありません）

きっかけは、X に流れてきた Jimmy Wang さんたち（コロンビア大学ほか）の 3D World Simulator の告知でした。RTX 5090 1枚で毎秒50コマ以上動き、好きな視点の映像と奥行き、指先の触覚まで予測する、という発表です。このプロジェクトでは小型ロボットアーム mechArm 270 に Physical Intelligence の π0.5 を学ばせているので、うちの環境で試す意味があるかを Claude（Anthropic の AI）と確かめ、そこから他の世界モデルの調査、世界モデルが何を良くしようとしているのか、まで話が広がりました。

これは実験の記録ではなく、対話しながら考えた記録です。対話は7往復で、そのあとに世界モデルの定義と、環境ごとの導入基準を整理しています。

世界モデルを試すときも、まず GPU を時間で借りて測る形になります。GPU を買うか借りるかの判断は、Runpod で実際に借りて学習させた費用をもとに、別のページにまとめています。

¥750,000¥4,700導入比較ガイドロボットAIの学習用GPU、買うか借りるか実際に借りて学習させた費用と、損益分岐の計算機で決められますarrow_forward

作業ログ ― Claude との対話を、そのまま残す

ここから下は、対話の全量です。ユーザーの発言を引用で、Claude の答えを本文で載せています。各節の頭の太字の一文は、その節で Claude が答えようとした問いです。最初の発言は、X の告知スレッドの画面写真と住所を共有したものです。調べたものを保存するためにパソコンをつないだやり取りと、記事化の段取りのやり取りは外しました。Claude の答えの中の太字は記事の太字の決まりに合わせて外し、答えの最後に付けていた出典は、記事の最後にまとめました。答えの中の数字は、2026年11月3日に論文・公式のページ・リポジトリで確かめた時点のものです。

この記事に出てくる言葉

3D World Simulator は、ロボットの動きから次の場面を3Dのまま予測していた

（X に流れてきた Jimmy Wang さんの 3D World Simulator の告知スレッドの画面写真6枚と、スレッドの住所 https://x.com/jwang771/status/2117326064028717528 を共有して）

— 3D World Simulator は何をしていて、数字はどこまで強いのか。

3D World Simulator（Jimmy Wangたちの論文）の調査メモを、いつもの research フォルダに作りました。原文の PDF は pdf/ に置き、README の一覧にも1行足しています。

この論文がやっていること

ロボットの動きを入れると、次の場面を3Dのまま予測します。1回の予測から、好きな視点の映像・奥行き・指先の触覚がまとめて出てきます。速さは RTX 5090 1枚で毎秒50コマです。学習データは1作業あたり遠隔操作で約2時間で、学習は RTX 5090 で約16時間を2回です。

数字を読んで分かったこと

• 世界モデルが作ったデータだけで学習すると、布たたみは実データ並みでした。部品の差し込みと T押しは13〜16ポイントほど下回っていて、「同程度」と言えるのは布たたみだけです。
• いちばん強い結果は触覚です。部品の差し込みは、触覚なしの実データだと約16%、触覚つきの生成データだと約67%でした。
• 世界モデルの中での評価と実機の成功率の相関は 0.86〜0.97 でした。前の調査の 0.88〜0.94 と同じくらいです。
• まだ査読前です。公開されているコードは学習の部分だけで、データ・学習済みモデル・推論のコードはこれからです。リポジトリにライセンスの表記もありません。

mechArm との関係

10-27 の調査で世界モデルを後回しにした理由は、自分のロボットのデータが数十時間要ることと、H100 級の GPU が要ることでした。この論文ではどちらも個人で届く所まで下がっています。

代わりに残る壁はカメラです。入力に奥行きつきのステレオカメラ5台の点群が要り、スマホの RGB カメラ2台のいまの構成ではそのまま使えません。使うなら、学習データを作るより、π0.5 のチェックポイントの順位付けに使う方が確かです。

ブラウザのデモは無料で、起動に約45秒かかります。触ってみると、どこで崩れるかが分かります。

この論文の仕組みを、もう少しふだんの言葉で補っておきます。カメラ5台（机のまわりに3台、両腕の手首に1台ずつ）の映像から奥行きを出し、作業台の上（約52×32×28cm の箱の中）を色の付いた3Dの点の集まりにします。それを小さな升目の並びに縮め、ロボットの動きを入れて1コマ先の升目を当てる。当てた升目から点を作り直すと、点の一つひとつが色の粒になっていて、どの視点からでも絵が描けます。指先の触覚も同じ空間の点として扱うので、触った場所と映像がずれません。箱の外の部屋とロボットの腕は、別にスキャンした3Dの絵を重ねていて、腕を SO-101 に描き替える例も出ていました。

ここでいう「生成データだけの学習」は、世界モデルに作らせた100本のお手本だけで方策（ACT・Diffusion Policy・π0.5・Cosmos Policy の4つ）を学ばせ、実機で試した結果です。数字は論文の棒グラフから読んだ値なので、数ポイントの幅があります。

3D World Simulator を mechArm 270 で試す得は、今は小さい

うちの環境で試してメリットは十分あるのかな？

— カメラ2台の mechArm 270 で、3D World Simulator を試す得はあるか。

今の mechArm の環境で試しても、手間に見合う得はまだ小さいと思います。理由は、払う手間に対して、いま困っていることがほとんど解決しないからです。

手間が大きい理由

この方法の入力は、奥行きつきのカメラ5台を位置合わせして作った3Dの点群です。mechArm の今のカメラはスマホ2台で、奥行きが取れません。ここを揃えるとカメラを買うことになりますが、実測したボトルネックがあるわけではないので、設備投資の方針にも合いません。

公開されている学習済みモデルは ALOHA の6作業専用で、自分の机・アーム・ブロックにそのまま使えるものはありません。自分の場面で使うには、お手本を約2時間集め、RTX 5090 で16時間の学習を2回回すことになります。しかも推論のコードとデータはまだ公開されておらず、ライセンスの表記もありません。手順を公開して他の人が同じことをできる形、つまり Mission の再現可能な環境には、今はできません。

今の困りごとに効かない理由

mechArm で今つまずいているのは、ブロックの位置にアームが行かないこと、つかんだあとに落とすこと、動きの合間の待ちが長いことです。どれも世界モデルで直す種類の問題ではありません。この論文が強いのは、布のように形が変わる物、手の中で隠れる場面、触覚が要る差し込みです。硬いブロックのつかんで置く作業では、その強みがあまり出ません。

評価に使う道も、まず実機と世界モデルが一致するかを確かめるために、実機を何十回も回す必要があります。今の試行の数なら、そのまま実機で比べた方が早いです。

得が大きくなるとき

• 推論のコードと学習済みモデルが公開され、Runpod で RTX 5090 を借りればすぐ動くようになったとき。その手順の記録自体が研究室の記事になります。
• π0.5 のチェックポイントが増えて、実機で比べきれなくなったとき。
• 双腕・布・触覚の方向に進むとき。

今やるなら、ブラウザのデモで遊んで、どこで崩れるかを見るところまでで十分です。費用はかかりません。

ここで出てくる設備投資の方針は、このプロジェクトの決まりの一つで、機材を買うのは、いま進めている研究で実際に測ったボトルネックを解くものだけ、というものです。カメラ5台は、測ったボトルネックから出てきた買い物ではなく、論文の前提に合わせるための買い物になります。Mission の再現可能な環境は、他の人が同じ手順で同じ結果にたどり着ける状態のことで、ライセンスの書かれていないコードの上に手順を作っても、それを他の人に渡せるかが決まりません。

世界モデルを入れる意味は、カメラを増やさずに動きが良くなるときだけ

カメラを増やさないとうまく動作しないならあまり意味ないな

— カメラを増やす前提の世界モデルに、意味はあるか。

そうですね。この手法は、カメラの台数と奥行きがあることを前提に作られています。カメラ2台で奥行きなしの mechArm では、いちばんの強みが出ません。

もし後で世界モデルを考え直すなら、前作の Interactive World Simulator のような2Dの世界モデルの方が合っています。普通のカメラ画像から動くので、今の環境に近いです。

むしろカメラは同等、もしくは減らすけど今まで以上によく動くじゃないとワールドモデル入れる意味ないな。

— 世界モデルを入れる基準は、どこに置くか。

その基準は筋が通っていると思います。カメラを増やすと、それだけで置き場所の固定・位置合わせ・故障の手間が増えます。それを上回るほど動きがよくならないなら、入れる意味はありません。他の人が同じ環境を作るときの壁も高くなるので、再現できる環境を増やすという目的とも合いません。

この論文のメモの最後に、見送りにしたことと、世界モデルを入れる条件（カメラは今と同じか少ない台数で、動きは今よりよくなること）を書き足しておきました。

この基準は、mechArm に限らず、道具を足すときの考え方として使えます。足すことで増える手間（カメラ・配線・位置合わせ・データ集め・計算）と、足すことで減る手間か上がる成功率を並べて、後者が大きいときだけ足す。世界モデルは、ふつうは道具を減らす方向の技術として語られます。実機を動かす回数が減る、お手本を集める時間が減る、という話です。ところが 3D World Simulator は、その代わりにカメラを増やすことを求めていました。減る手間の前に増える手間が来るので、個人の環境ではまずそこで止まります。

カメラ1〜2台で動く世界モデルはあるが、動きを良くした実機の例は Franka の上だけだった

もう少し他のワールドモデルのことについても調べてみてほしい

— カメラを今と同じか少ない台数のまま、今より動きを良くできる世界モデルはあるか。

他の世界モデルを9つ調べました。カメラを今と同じか少ない台数のまま、今より動きがよくなる、という条件を両方満たすものは、今のところありません。調査メモは research フォルダに置き、README の一覧にも足しました。

カメラの条件だけなら満たせるもの

• V-JEPA 2-AC（Meta）：位置合わせなしの RGB カメラ1台で動きます。その研究室のデータを集めずに、Franka でつかんで置く作業が 65〜80% 成功しています。重みも公開されています。
• Interactive World Simulator（前の論文の前作）：RGB カメラ1〜2台で、学習済みモデルも公開されています。ただし自分のアームで使うには、1作業に約6時間分のデータが要ります。
• WEAVER：外のカメラ1台と手首のカメラ1台で、実機を使わずに π0.5 の成功率を 38% 上げました。台数は同じでも、片方は mechArm にない手首のカメラです。

動きがよくなる条件を満たせない理由

π0.5 を伸ばした実機の例は、どれも Franka で集めた大きな公開データ（DROID）で事前学習した世界モデルの上にあります。mechArm にはこの土台がありません。SO-101 向けの世界モデルも出始めていますが、実機での結果はまだなく、作者自身が実機の制御にはまだ使えないと書いています。

14のモデルを比べた研究（WorldArena）でも、世界モデルで作ったデータや計画した動きは、実データや π0.5 に届かないことが多いという結果でした。いちばん確かな使い道は、方策の良し悪しを当てる評価です（実機との相関は 0.78〜0.87）。

それに、今のつまずき（ブロックの位置に届かない、つかんだ後に落とす、待ちが長い）はアームの精度と動かし方の問題で、世界モデルでは直りません。

様子が変わるのは、小さなアームで世界モデルが実機の成功率を上げた例が出たときか、DROID で学んだものを別のアームに少ないデータで合わせられると示されたときです。

調べた9つを、カメラの台数で並べ直しておきます。

WorldArena の比較では、映像がきれいなモデルほどロボットの役に立つ、という関係が見られませんでした。画質の上位は Google の Veo 3.1 と Alibaba の Wan 2.6 でしたが、ロボット向けの点数はほとんど上がっていません。世界モデルで動きを計画すると成功は 20〜35% で、π0.5 の 77% と 66% に届かない。世界モデルの作ったデータで実データを上回ったのは、2つの作業のうち1つだけでした。

世界モデルは、実機を動かす時間とお金を減らすために作られている

世界モデルって現状から何が良くなると思って開発が進んでいるの？

— 世界モデルは、今の何を良くしようとして開発されているのか。

実機でロボットを動かす時間とお金を減らすためです。ロボットの学習は、お手本を集めるのも、出来を確かめるのも、試行錯誤させるのも、全部実機を動かさないと進みません。そこを、学習した仮想の世界に置き換えようとしています。

これまでの方法の限界

置き換え先としては、これまで MuJoCo や Isaac のような物理シミュレーターがありました。ただ、物ごとに人が形・重さ・摩擦を作り込む必要があり、布やロープ、液体のように形が変わる物は苦手です。シミュレーターの見た目と実際のカメラ映像の差も埋まりません。世界モデルは、この仮想の世界を人が作らずに、映像とロボットのデータから学ばせようという考え方です。

良くなると期待されていること（確かな順）

1. 評価が速く安くなる。学習途中のモデルの良し悪しを、実機を何十回も回さずに当てます。今いちばん実績があり、実機との相関は 0.8〜0.9 台です。
2. お手本を増やせる。人が遠隔操作で集めたお手本を、世界モデルの中で何倍にも増やします。条件によっては効きますが、実データに届かない例も多いです。
3. 安全に練習できる。世界モデルの中で失敗を繰り返して強化学習させます。物を戻す人手も壊れる心配も要りません。ただし、方策が世界モデルの間違いにつけ込む恐れがあり、まだ研究段階です。
4. 動く前に先を読める。こう動いたらどうなるかを頭の中で試してから動きます（V-JEPA 2 の計画など）。
5. ロボットのデータ不足を、人の動画で補える。いちばん大きな賭けはこれです。ロボットのデータは世界中でも数万時間規模ですが、人が物を扱う動画は桁違いにあります。動画から物理の常識を先に学ばせれば、ロボット固有のデータは少なくて済む、という見立てです。NVIDIA、Google、1X、Dyna などが、言語モデルが文章を大量に読んで伸びたのと同じ道を狙っています。

個人のアームにとっての意味

どれも、大規模なロボット学習の集める・試す・直すの回し方を速くするための技術です。アーム自体の精度や動きの質を直すものではありません。mechArm のような個人のアームに恩恵が来るのは、5番目が実を結び、どの機体でも少しのデータで使える世界モデルが公開されてからです。それまでは様子を見る、という判断で合っていると思います。

3番目の、方策が世界モデルの間違いにつけ込む、というのは、世界モデルの中で練習させると、方策が本物の物理ではありえない近道（物がすり抜ける、つかんでいないのに持ち上がる、など世界モデルの描き間違い）を見つけて、そこで点を稼いでしまうことです。PlayWorld の論文も、世界モデルの中で強化学習を続けると世界モデルに合わせすぎることがあると書いていて、早めに止めることを勧めていました。評価がいちばん確かなのは、評価なら世界モデルの間違いが比べる方策のどちらにも同じようにかかり、順位はずれにくいからです。

世界モデルは、動向を押さえて、きっかけが来たら借りた GPU で試す

まだまだって感じだね。動向は押さえつつも様子を見ながら定期的に試していくって感じだね。

— 世界モデルと、これからどう付き合うか。

それがいいと思います。試すきっかけになりそうなのは、次の3つです。

• SO-101 のような小さなアームで、世界モデルを使って実機の成功率が上がったという結果が出たとき
• 大きな公開データで学んだ世界モデルを、別のアームに少ないデータで合わせ込めると示されたとき
• 学習済みモデルが公開されていて、Runpod で GPU を借りればすぐ動かせるとき

どれも、カメラを増やさずに確かめられます。

世界モデルとは、動かす前に結果を当てる AI のこと

— 世界モデルとは何で、どんな形があるのか。

ここからの2つの節は、対話のあとに、調べた数字をもとに整理したものです。まず言葉の定義から。

ロボットの世界モデルは、今の場面（カメラの画像や3Dの点）とロボットの動きを入れると、その動きをしたあとの場面を予測する AI です。方策（次にどう動くかを決める AI）とは役目が逆で、方策が「次に何をするか」を出すのに対し、世界モデルは「それをしたらどうなるか」を出します。物理シミュレーターとも同じ役目ですが、シミュレーターは人が物の形・重さ・摩擦を作り込むのに対し、世界モデルはそれを映像とロボットのデータから学びます。

何で予測するかで、今は5つほどの形に分かれています。

ロボットの動きを入れられるかどうかが、ふつうの動画を作る AI との境目です。Veo や Wan のような動画の AI は言葉から映像を作りますが、ロボットの関節をこう動かしたら、という入れ方はできません。WorldArena の比較で画質の高い動画の AI がロボットの役に立たなかったのは、この差が出たのだと思います。

世界モデルを入れる基準は、環境のレベルごとに違う

— 個人・研究室・企業・基盤モデルの会社・導入する現場で、入れる基準はどう変わるか。

どのレベルにも共通する基準は、ユーザーが置いたものを広げた形になります。世界モデルを入れることで増える手間（カメラ・データ集め・計算・確かめの実機の試行）より、減る手間（実機で回す回数・お手本を集める時間）か上がる成功率のほうが大きいときだけ入れる。

その釣り合いが、環境の大きさで変わります。

レベル1とレベル2の差は、カメラとデータと GPU のどれもが一段ずつ上がることです。カメラは奥行きの分かるものを複数台、データは1作業に数時間、GPU は手元に。どれか一つでも欠けると、論文の前提に乗れません。mechArm の環境は、GPU は借りれば届きますが、カメラとデータの2つが足りません。

レベル3の数字は大きく見えますが、どれも DROID という共通の土台の上にあります。土台を作ったのは何十人もの研究者と何台もの Franka で、レベル1の個人が自分の機体で同じ土台を作ることはできません。レベル1の環境で世界モデルが使えるようになる道は、レベル4の会社が作るどの機体にも合わせられる世界モデルが降りてくるか、SO-101 のように公開データが多い機体で、レベル3と同じことが起きるかのどちらかです。

レベル5の現場は、世界モデルの直接の使い手ではありません。ただ、ロボットのメーカーが新しい機能を「世界モデルの中で何万回も試した」と説明する日は近いはずです。そのとき聞くべきなのは、その試行が実機の結果とどれだけ一致していたか、と、自分の店や病院に近い条件だったか、の2つです。サービスロボットを店に入れたときの動きをシミュレーションで確かめているこのプロジェクトにとっては、ここがいちばん仕事に近い所でもあります。

Pixels to Motors の今の判断は、レベル1として見送りです。試すきっかけは、上の3つ（小さなアームで実機の成功率が上がった例が出る・少ないデータで別のアームに合わせられると示される・学習済みが公開されて借りた GPU ですぐ動く）。それまでは、世界モデルそのものではなく、評価の考え方だけを先に取り入れます。チェックポイントを比べるときに、同じブロックの位置で決めた回数を回し、Claude の判定で成功率を出す。これは WorldGym（世界モデルの中で動かし、成功かどうかを AI が判定する形）と同じ形で、後で世界モデルに置き換えるときの物差しになります。

世界モデルは、データと計算とカメラがそろった所から降りてくる

世界モデルは、実機を動かす時間を減らすための道具で、その恩恵は今、データと計算とカメラがそろった大きな研究所から順に届いています。個人の小型アームに届くのは、どの機体にも少ないデータで合わせられる世界モデルが出たとき。そのときに、すぐ確かめられるように、評価の物差しを先に手元で作っておく。

世界モデルを入れる基準は、カメラを増やさずに、今より動きが良くなるかどうか。2026年11月の時点で、個人のアームでそれを満たす世界モデルはまだない。

出典

• 3D World Simulator プロジェクトページ・論文 PDF・GitHub・X の告知スレッド
• Interactive World Simulator（arXiv 2603.08546）・プロジェクトページ・GitHub
• Deform360（arXiv 2607.05390）
• V-JEPA 2（arXiv 2506.09985）・Meta の紹介ページ
• WEAVER（arXiv 2606.13672）
• Ctrl-World（arXiv 2510.10125、ICLR 2026）
• PlayWorld（arXiv 2603.09030）
• WorldGym（arXiv 2506.00613、ICLR 2026）
• DreamZero-SO101・Hugging Face
• LeRobot-WAM
• WorldArena（arXiv 2602.08971）
• Genie 4 の解説（Pebblous）