# ロボットの世界モデルを入れる基準 ― 個人のアームにはまだ早かった - 記録: LOG438（考察記事） - 公開: 2026/11/3 - 記事のページ: https://pixelstomotors.com/record/world-model-adoption-criteria-robot-arm - サイト: Pixels to Motors（ADAPT DESIGN / 島津 栄一） https://pixelstomotors.com/ - 要約: ロボットの世界モデルは、2026年11月時点で小型アームにカメラ1〜2台で入れて動きを良くした実機の例がなく、個人の環境ではまだ早い。世界モデルの定義と、個人から企業・導入する現場まで環境ごとの導入基準を整理した。 > AI が読むための記事の全文です（コード・実行ログを含む）。引用するときは上の「記事のページ」の住所を使ってください。 --- **ロボットの世界モデル（ロボットの動きを入れると、次にカメラに何が映るかを予測する AI）は、2026年11月の時点では、小型のロボットアームにカメラ1〜2台のまま入れて実機の動きを良くした例が見つからず、個人の環境ではまだ入れる段階ではない、というのが今の考えです。** 実機の動きを良くした例はどれも、Franka という研究用のアームで集めた大きな公開データ（DROID）と、H100 を何枚も使う計算の上にありました。 この整理で、次の3つが変わります。 - 世界モデルの新しい発表を見たとき、自分の環境で試す価値があるかを、カメラの台数・自分で集めるデータの量・GPU の3つで先に判断できる - 個人・研究室・企業の研究開発・基盤モデルを作る会社・ロボットを導入する現場の5つの環境ごとに、今使える用途と、入れてよい基準が分かる - 試す前に見送れた手間がはっきりする。きっかけになった 3D World Simulator をそのまま試すなら、ステレオカメラ5台の用意と位置合わせ、1作業あたり約2時間のデータ集め、RTX 5090 で約16時間の学習を2回、が要るところだった（数字は論文の値で、こちらで測ったものではありません） きっかけは、X に流れてきた Jimmy Wang さんたち（コロンビア大学ほか）の 3D World Simulator の告知でした。RTX 5090 1枚で毎秒50コマ以上動き、好きな視点の映像と奥行き、指先の触覚まで予測する、という発表です。このプロジェクトでは小型ロボットアーム mechArm 270 に Physical Intelligence の π0.5 を学ばせているので、うちの環境で試す意味があるかを Claude（Anthropic の AI）と確かめ、そこから他の世界モデルの調査、世界モデルが何を良くしようとしているのか、まで話が広がりました。 これは実験の記録ではなく、対話しながら考えた記録です。対話は7往復で、そのあとに世界モデルの定義と、環境ごとの導入基準を整理しています。 | 問い | 考えたこと | |---|---| | 3D World Simulator は何をしているか | ロボットの動きから次の場面を3Dのまま予測する。生成データだけの学習は布たたみで実データ並み、差し込みでは下回る。いちばん効いているのは触覚を作れること | | うちの環境で試す得はあるか | 小さい。ステレオカメラ5台が前提で、今の困りごと（届かない・落とす・待ちが長い）にも効かない | | どんな世界モデルなら入れる意味があるか | カメラが今と同じか少ない台数のまま、今より動きがよくなるもの | | その条件に合う世界モデルはあるか | カメラの条件だけなら V-JEPA 2-AC・前作の Interactive World Simulator・WEAVER が合う。動きが良くなった実機の例は、どれも DROID の上 | | 世界モデルは何を良くしようとしているのか | 実機を動かす時間を減らすこと。評価・お手本集め・練習・先読み・人の動画で補う、の5つ | | どう付き合うか | 動向を押さえ、試すきっかけが来たら借りた GPU で試す | 世界モデルを試すときも、まず GPU を時間で借りて測る形になります。GPU を買うか借りるかの判断は、Runpod で実際に借りて学習させた費用をもとに、別のページにまとめています。 [ロボットAIの学習用GPU、買うか借りるか](https://pixelstomotors.com/gpu-buy-or-rent) ## 作業ログ ― Claude との対話を、そのまま残す ここから下は、対話の全量です。ユーザーの発言を引用で、Claude の答えを本文で載せています。各節の頭の太字の一文は、その節で Claude が答えようとした問いです。最初の発言は、X の告知スレッドの画面写真と住所を共有したものです。調べたものを保存するためにパソコンをつないだやり取りと、記事化の段取りのやり取りは外しました。Claude の答えの中の太字は記事の太字の決まりに合わせて外し、答えの最後に付けていた出典は、記事の最後にまとめました。答えの中の数字は、2026年11月3日に論文・公式のページ・リポジトリで確かめた時点のものです。 ### この記事に出てくる言葉 | 言葉 | ふだんの言葉で言うと | |---|---| | 世界モデル | ロボットがこう動いたら、次に何が見えるか・場面がどう変わるかを予測する AI。この記事の最後の節で詳しく整理する | | 方策 | ロボットの動かし方を決める、学習済みのモデル。カメラの画像を見て次の動きを出す | | [π0.5](https://www.pi.website/blog/pi05) | Physical Intelligence が公開している、ロボット用の大きな AI。このプロジェクトでは mechArm 270 に追加で学ばせている | | [mechArm 270](https://www.elephantrobotics.com/) | Elephant Robotics の小型6軸ロボットアーム。このプロジェクトで使っている機体 | | [SO-101](https://github.com/TheRobotStudio/SO-ARM100) | 部品を自分で組む安い6軸アーム。公開データが多い | | [DROID](https://droid-dataset.github.io/) | 研究用アーム Franka で、いくつもの研究室が集めた大きな公開データ。外のカメラ2台と手首のカメラ1台で撮っている | | 点群 | 奥行きの分かるカメラで撮った、色の付いた3Dの点の集まり | | ステレオカメラ | 2つのレンズで撮り、人の両目のように奥行きを測るカメラ | | 3Dガウシアン | ぼんやりした色の粒を3D空間にたくさん置いて、どの向きからでも絵を描ける表し方 | | 相関係数 | 2つの数字がどれだけ一緒に動くか。1に近いほど、片方からもう片方を当てられる | | [Runpod](https://www.runpod.io/) | GPU を時間単位で借りられるクラウドのサービス。このプロジェクトの学習と推論はここで回している | [図解: LOG438_world_model_levels.html](https://pixelstomotors.com/embeds/LOG438_world_model_levels.html) ## 3D World Simulator は、ロボットの動きから次の場面を3Dのまま予測していた > （X に流れてきた Jimmy Wang さんの 3D World Simulator の告知スレッドの画面写真6枚と、スレッドの住所 https://x.com/jwang771/status/2117326064028717528 を共有して） **— 3D World Simulator は何をしていて、数字はどこまで強いのか。** 3D World Simulator（Jimmy Wangたちの論文）の調査メモを、いつもの research フォルダに作りました。原文の PDF は pdf/ に置き、README の一覧にも1行足しています。 この論文がやっていること ロボットの動きを入れると、次の場面を3Dのまま予測します。1回の予測から、好きな視点の映像・奥行き・指先の触覚がまとめて出てきます。速さは RTX 5090 1枚で毎秒50コマです。学習データは1作業あたり遠隔操作で約2時間で、学習は RTX 5090 で約16時間を2回です。 数字を読んで分かったこと - 世界モデルが作ったデータだけで学習すると、布たたみは実データ並みでした。部品の差し込みと T押しは13〜16ポイントほど下回っていて、「同程度」と言えるのは布たたみだけです。 - いちばん強い結果は触覚です。部品の差し込みは、触覚なしの実データだと約16%、触覚つきの生成データだと約67%でした。 - 世界モデルの中での評価と実機の成功率の相関は 0.86〜0.97 でした。前の調査の 0.88〜0.94 と同じくらいです。 - まだ査読前です。公開されているコードは学習の部分だけで、データ・学習済みモデル・推論のコードはこれからです。リポジトリにライセンスの表記もありません。 mechArm との関係 10-27 の調査で世界モデルを後回しにした理由は、自分のロボットのデータが数十時間要ることと、H100 級の GPU が要ることでした。この論文ではどちらも個人で届く所まで下がっています。 代わりに残る壁はカメラです。入力に奥行きつきのステレオカメラ5台の点群が要り、スマホの RGB カメラ2台のいまの構成ではそのまま使えません。使うなら、学習データを作るより、π0.5 のチェックポイントの順位付けに使う方が確かです。 ブラウザのデモは無料で、起動に約45秒かかります。触ってみると、どこで崩れるかが分かります。 この論文の仕組みを、もう少しふだんの言葉で補っておきます。カメラ5台（机のまわりに3台、両腕の手首に1台ずつ）の映像から奥行きを出し、作業台の上（約52×32×28cm の箱の中）を色の付いた3Dの点の集まりにします。それを小さな升目の並びに縮め、ロボットの動きを入れて1コマ先の升目を当てる。当てた升目から点を作り直すと、点の一つひとつが色の粒になっていて、どの視点からでも絵が描けます。指先の触覚も同じ空間の点として扱うので、触った場所と映像がずれません。箱の外の部屋とロボットの腕は、別にスキャンした3Dの絵を重ねていて、腕を SO-101 に描き替える例も出ていました。 ここでいう「生成データだけの学習」は、世界モデルに作らせた100本のお手本だけで方策（ACT・Diffusion Policy・π0.5・Cosmos Policy の4つ）を学ばせ、実機で試した結果です。数字は論文の棒グラフから読んだ値なので、数ポイントの幅があります。 ## 3D World Simulator を mechArm 270 で試す得は、今は小さい > うちの環境で試してメリットは十分あるのかな？ **— カメラ2台の mechArm 270 で、3D World Simulator を試す得はあるか。** 今の mechArm の環境で試しても、手間に見合う得はまだ小さいと思います。理由は、払う手間に対して、いま困っていることがほとんど解決しないからです。 手間が大きい理由 この方法の入力は、奥行きつきのカメラ5台を位置合わせして作った3Dの点群です。mechArm の今のカメラはスマホ2台で、奥行きが取れません。ここを揃えるとカメラを買うことになりますが、実測したボトルネックがあるわけではないので、設備投資の方針にも合いません。 公開されている学習済みモデルは ALOHA の6作業専用で、自分の机・アーム・ブロックにそのまま使えるものはありません。自分の場面で使うには、お手本を約2時間集め、RTX 5090 で16時間の学習を2回回すことになります。しかも推論のコードとデータはまだ公開されておらず、ライセンスの表記もありません。手順を公開して他の人が同じことをできる形、つまり Mission の再現可能な環境には、今はできません。 今の困りごとに効かない理由 mechArm で今つまずいているのは、ブロックの位置にアームが行かないこと、つかんだあとに落とすこと、動きの合間の待ちが長いことです。どれも世界モデルで直す種類の問題ではありません。この論文が強いのは、布のように形が変わる物、手の中で隠れる場面、触覚が要る差し込みです。硬いブロックのつかんで置く作業では、その強みがあまり出ません。 評価に使う道も、まず実機と世界モデルが一致するかを確かめるために、実機を何十回も回す必要があります。今の試行の数なら、そのまま実機で比べた方が早いです。 得が大きくなるとき - 推論のコードと学習済みモデルが公開され、Runpod で RTX 5090 を借りればすぐ動くようになったとき。その手順の記録自体が研究室の記事になります。 - π0.5 のチェックポイントが増えて、実機で比べきれなくなったとき。 - 双腕・布・触覚の方向に進むとき。 今やるなら、ブラウザのデモで遊んで、どこで崩れるかを見るところまでで十分です。費用はかかりません。 ここで出てくる設備投資の方針は、このプロジェクトの決まりの一つで、機材を買うのは、いま進めている研究で実際に測ったボトルネックを解くものだけ、というものです。カメラ5台は、測ったボトルネックから出てきた買い物ではなく、論文の前提に合わせるための買い物になります。Mission の再現可能な環境は、他の人が同じ手順で同じ結果にたどり着ける状態のことで、ライセンスの書かれていないコードの上に手順を作っても、それを他の人に渡せるかが決まりません。 ## 世界モデルを入れる意味は、カメラを増やさずに動きが良くなるときだけ > カメラを増やさないとうまく動作しないならあまり意味ないな **— カメラを増やす前提の世界モデルに、意味はあるか。** そうですね。この手法は、カメラの台数と奥行きがあることを前提に作られています。カメラ2台で奥行きなしの mechArm では、いちばんの強みが出ません。 もし後で世界モデルを考え直すなら、前作の Interactive World Simulator のような2Dの世界モデルの方が合っています。普通のカメラ画像から動くので、今の環境に近いです。 > むしろカメラは同等、もしくは減らすけど今まで以上によく動くじゃないとワールドモデル入れる意味ないな。 **— 世界モデルを入れる基準は、どこに置くか。** その基準は筋が通っていると思います。カメラを増やすと、それだけで置き場所の固定・位置合わせ・故障の手間が増えます。それを上回るほど動きがよくならないなら、入れる意味はありません。他の人が同じ環境を作るときの壁も高くなるので、再現できる環境を増やすという目的とも合いません。 この論文のメモの最後に、見送りにしたことと、世界モデルを入れる条件（カメラは今と同じか少ない台数で、動きは今よりよくなること）を書き足しておきました。 この基準は、mechArm に限らず、道具を足すときの考え方として使えます。足すことで増える手間（カメラ・配線・位置合わせ・データ集め・計算）と、足すことで減る手間か上がる成功率を並べて、後者が大きいときだけ足す。世界モデルは、ふつうは道具を減らす方向の技術として語られます。実機を動かす回数が減る、お手本を集める時間が減る、という話です。ところが 3D World Simulator は、その代わりにカメラを増やすことを求めていました。減る手間の前に増える手間が来るので、個人の環境ではまずそこで止まります。 ## カメラ1〜2台で動く世界モデルはあるが、動きを良くした実機の例は Franka の上だけだった > もう少し他のワールドモデルのことについても調べてみてほしい **— カメラを今と同じか少ない台数のまま、今より動きを良くできる世界モデルはあるか。** 他の世界モデルを9つ調べました。カメラを今と同じか少ない台数のまま、今より動きがよくなる、という条件を両方満たすものは、今のところありません。調査メモは research フォルダに置き、README の一覧にも足しました。 カメラの条件だけなら満たせるもの - V-JEPA 2-AC（Meta）：位置合わせなしの RGB カメラ1台で動きます。その研究室のデータを集めずに、Franka でつかんで置く作業が 65〜80% 成功しています。重みも公開されています。 - Interactive World Simulator（前の論文の前作）：RGB カメラ1〜2台で、学習済みモデルも公開されています。ただし自分のアームで使うには、1作業に約6時間分のデータが要ります。 - WEAVER：外のカメラ1台と手首のカメラ1台で、実機を使わずに π0.5 の成功率を 38% 上げました。台数は同じでも、片方は mechArm にない手首のカメラです。 動きがよくなる条件を満たせない理由 π0.5 を伸ばした実機の例は、どれも Franka で集めた大きな公開データ（DROID）で事前学習した世界モデルの上にあります。mechArm にはこの土台がありません。SO-101 向けの世界モデルも出始めていますが、実機での結果はまだなく、作者自身が実機の制御にはまだ使えないと書いています。 14のモデルを比べた研究（WorldArena）でも、世界モデルで作ったデータや計画した動きは、実データや π0.5 に届かないことが多いという結果でした。いちばん確かな使い道は、方策の良し悪しを当てる評価です（実機との相関は 0.78〜0.87）。 それに、今のつまずき（ブロックの位置に届かない、つかんだ後に落とす、待ちが長い）はアームの精度と動かし方の問題で、世界モデルでは直りません。 様子が変わるのは、小さなアームで世界モデルが実機の成功率を上げた例が出たときか、DROID で学んだものを別のアームに少ないデータで合わせられると示されたときです。 調べた9つを、カメラの台数で並べ直しておきます。 | 名前 | 作った所 | カメラ | 機体 | 何に使うか | 確かめられた数字 | 計算 | |---|---|---|---|---|---|---| | [V-JEPA 2-AC](https://arxiv.org/abs/2506.09985) | Meta | RGB 1台（位置合わせなし） | Franka | 目標の画像に向けて動きを計画する | 2つの研究室で、その場のデータなしに、つかんで置く 80%（カップ）・65%（箱）、手を伸ばす 100% | ロボットのデータは DROID の62時間未満 | | [Interactive World Simulator](https://github.com/WangYixuan12/interactive_world_sim) | コロンビア大ほか | RGB 1〜2台 | ALOHA（双腕） | 評価・学習データ作り | 生成データだけで Diffusion Policy 87.9%（実データ 90.3%） | RTX 4090 で毎秒15コマ。1作業に約6時間・約600回のデータ | | [WEAVER](https://arxiv.org/pdf/2606.13672) | CMU・Mila | 外1台＋手首1台 | Franka（DROID） | 評価・π0.5 の改善・その場の計画 | π0.5 の成功率が 38% 上がった（ポイントか割合かは未確認）。評価の相関 0.87 | 事前学習 H100×4 で約10日、追加学習 H100×4 で約6時間 | | [Ctrl-World](https://arxiv.org/html/2510.10125v3) | スタンフォード大・清華大 | 外2台＋手首1台 | Franka（DROID） | 評価・π0.5 の改善 | π0.5 が 38.7% → 83.4%（知らない物・新しい指示） | H100×16 で2〜3日 | | [PlayWorld](https://arxiv.org/html/2603.09030v2) | プリンストン大 | 外2台＋手首1台 | DROID の機体 | 評価・世界モデルの中での強化学習 | 評価の相関 0.877 | H200×8 で2日。データは無人で30時間 | | [WorldGym](https://arxiv.org/html/2506.00613v3) | Sherry Yang ほか | 最初の1枚の画像から | Bridge など公開データ | 評価だけ（成功の判定は GPT-4o） | 作業ごとの相関 0.78 | A100×2 | | [DreamZero-SO101](https://vizuara-ai-lab.github.io/dreamzero-so101/paper.html) | Vizuara | 画像1枚を入力 | SO-101 | 映像と動きを同時に出す | 実機の結果なし | 学習 H100×2 で約127時間 | | [LeRobot-WAM](https://github.com/lukehollis/lerobot-lewam) | 個人の開発者 | 正面＋手首の RGB 2台 | SO-101（シミュレーションの中だけ） | 映像と動きを同時に出す | 学習した方策の成功率なし | ノート PC で動く小ささ | | Genie 4 | Google DeepMind | — | 人型ロボットの映像デモ | 世界を作って見せる | ロボットを動かした数字なし | 一部の試用者だけに公開 | WorldArena の比較では、映像がきれいなモデルほどロボットの役に立つ、という関係が見られませんでした。画質の上位は Google の Veo 3.1 と Alibaba の Wan 2.6 でしたが、ロボット向けの点数はほとんど上がっていません。世界モデルで動きを計画すると成功は 20〜35% で、π0.5 の 77% と 66% に届かない。世界モデルの作ったデータで実データを上回ったのは、2つの作業のうち1つだけでした。 ## 世界モデルは、実機を動かす時間とお金を減らすために作られている > 世界モデルって現状から何が良くなると思って開発が進んでいるの？ **— 世界モデルは、今の何を良くしようとして開発されているのか。** 実機でロボットを動かす時間とお金を減らすためです。ロボットの学習は、お手本を集めるのも、出来を確かめるのも、試行錯誤させるのも、全部実機を動かさないと進みません。そこを、学習した仮想の世界に置き換えようとしています。 これまでの方法の限界 置き換え先としては、これまで MuJoCo や Isaac のような物理シミュレーターがありました。ただ、物ごとに人が形・重さ・摩擦を作り込む必要があり、布やロープ、液体のように形が変わる物は苦手です。シミュレーターの見た目と実際のカメラ映像の差も埋まりません。世界モデルは、この仮想の世界を人が作らずに、映像とロボットのデータから学ばせようという考え方です。 良くなると期待されていること（確かな順） 1. 評価が速く安くなる。学習途中のモデルの良し悪しを、実機を何十回も回さずに当てます。今いちばん実績があり、実機との相関は 0.8〜0.9 台です。 2. お手本を増やせる。人が遠隔操作で集めたお手本を、世界モデルの中で何倍にも増やします。条件によっては効きますが、実データに届かない例も多いです。 3. 安全に練習できる。世界モデルの中で失敗を繰り返して強化学習させます。物を戻す人手も壊れる心配も要りません。ただし、方策が世界モデルの間違いにつけ込む恐れがあり、まだ研究段階です。 4. 動く前に先を読める。こう動いたらどうなるかを頭の中で試してから動きます（V-JEPA 2 の計画など）。 5. ロボットのデータ不足を、人の動画で補える。いちばん大きな賭けはこれです。ロボットのデータは世界中でも数万時間規模ですが、人が物を扱う動画は桁違いにあります。動画から物理の常識を先に学ばせれば、ロボット固有のデータは少なくて済む、という見立てです。NVIDIA、Google、1X、Dyna などが、言語モデルが文章を大量に読んで伸びたのと同じ道を狙っています。 個人のアームにとっての意味 どれも、大規模なロボット学習の集める・試す・直すの回し方を速くするための技術です。アーム自体の精度や動きの質を直すものではありません。mechArm のような個人のアームに恩恵が来るのは、5番目が実を結び、どの機体でも少しのデータで使える世界モデルが公開されてからです。それまでは様子を見る、という判断で合っていると思います。 3番目の、方策が世界モデルの間違いにつけ込む、というのは、世界モデルの中で練習させると、方策が本物の物理ではありえない近道（物がすり抜ける、つかんでいないのに持ち上がる、など世界モデルの描き間違い）を見つけて、そこで点を稼いでしまうことです。PlayWorld の論文も、世界モデルの中で強化学習を続けると世界モデルに合わせすぎることがあると書いていて、早めに止めることを勧めていました。評価がいちばん確かなのは、評価なら世界モデルの間違いが比べる方策のどちらにも同じようにかかり、順位はずれにくいからです。 ## 世界モデルは、動向を押さえて、きっかけが来たら借りた GPU で試す > まだまだって感じだね。動向は押さえつつも様子を見ながら定期的に試していくって感じだね。 **— 世界モデルと、これからどう付き合うか。** それがいいと思います。試すきっかけになりそうなのは、次の3つです。 - SO-101 のような小さなアームで、世界モデルを使って実機の成功率が上がったという結果が出たとき - 大きな公開データで学んだ世界モデルを、別のアームに少ないデータで合わせ込めると示されたとき - 学習済みモデルが公開されていて、Runpod で GPU を借りればすぐ動かせるとき どれも、カメラを増やさずに確かめられます。 ## 世界モデルとは、動かす前に結果を当てる AI のこと **— 世界モデルとは何で、どんな形があるのか。** ここからの2つの節は、対話のあとに、調べた数字をもとに整理したものです。まず言葉の定義から。 ロボットの世界モデルは、今の場面（カメラの画像や3Dの点）とロボットの動きを入れると、その動きをしたあとの場面を予測する AI です。方策（次にどう動くかを決める AI）とは役目が逆で、方策が「次に何をするか」を出すのに対し、世界モデルは「それをしたらどうなるか」を出します。物理シミュレーターとも同じ役目ですが、シミュレーターは人が物の形・重さ・摩擦を作り込むのに対し、世界モデルはそれを映像とロボットのデータから学びます。 何で予測するかで、今は5つほどの形に分かれています。 | 形 | 何を予測するか | 例 | 向いていること | |---|---|---|---| | 映像で予測する | 次のカメラ画像（2D） | Interactive World Simulator・Ctrl-World・WEAVER・WorldGym | 評価・データ作り。普通のカメラで作れる | | 3Dで予測する | 次の3Dの点や升目 | 3D World Simulator・PointWorld | どの視点からでも描ける・触覚をそろえられる。奥行きのカメラが要る | | 特徴で予測する | 画像そのものでなく、画像の特徴を表す数字の並び | V-JEPA 2-AC | 計画（目標の画像に近づく動きを探す）。絵は描かない | | 映像と動きを一緒に出す | 次の画像と、次の動きの両方 | DreamZero-SO101・LeRobot-WAM・Cosmos Policy | 方策そのものとして使う。まだ研究の途中 | | 世界を作って見せる | 操作できる仮想の世界の映像 | Genie 4 | 見せる・遊ぶ。ロボットの実機で効いた数字はまだない | ロボットの動きを入れられるかどうかが、ふつうの動画を作る AI との境目です。Veo や Wan のような動画の AI は言葉から映像を作りますが、ロボットの関節をこう動かしたら、という入れ方はできません。WorldArena の比較で画質の高い動画の AI がロボットの役に立たなかったのは、この差が出たのだと思います。 ## 世界モデルを入れる基準は、環境のレベルごとに違う **— 個人・研究室・企業・基盤モデルの会社・導入する現場で、入れる基準はどう変わるか。** どのレベルにも共通する基準は、ユーザーが置いたものを広げた形になります。世界モデルを入れることで増える手間（カメラ・データ集め・計算・確かめの実機の試行）より、減る手間（実機で回す回数・お手本を集める時間）か上がる成功率のほうが大きいときだけ入れる。 その釣り合いが、環境の大きさで変わります。 | 環境のレベル | 例 | カメラ・データ・計算 | 今使える世界モデル | 入れてよい基準 | 今の判断 | |---|---|---|---|---|---| | 1 個人の小型アーム | mechArm 270・SO-101 | RGB カメラ1〜2台（奥行きなし）。お手本は数十〜数百本。GPU は時間で借りる | V-JEPA 2-AC（RGB 1台）、Interactive World Simulator（1作業に約6時間のデータが要る）、DreamZero-SO101（実機の結果なし） | 同じくらいのアームで、カメラを増やさずに実機の成功率が上がった例が出ること。学習済みモデルが公開されていて、借りた GPU ですぐ動くこと | 見送り。デモで触る・評価の考え方を取り入れる | | 2 研究室・小さなチーム | ALOHA のような双腕 | 奥行きの分かるカメラ2〜5台。RTX 4090・5090 を手元に持つ。1作業に数時間のデータを集められる | Interactive World Simulator（RTX 4090 で毎秒15コマ）、3D World Simulator（RTX 5090 で毎秒50コマ、1作業約2時間のデータ、学習約16時間を2回） | 実機で比べる回数（チェックポイントの数×作業の数×各20回）が、世界モデルを作る手間を上回ること。自分の作業で、実機との相関を先に測ること | 評価から試す価値がある。触覚や手首の視点を足したデータ作りも候補 | | 3 大きな研究室・企業の研究開発 | Franka を何台も持つ研究所 | DROID のように外2台＋手首1台のカメラで数万本。H100 を何枚も使える | Ctrl-World（π0.5 を 38.7% → 83.4%）、WEAVER（評価の相関 0.87）、PlayWorld（評価の相関 0.877） | 世界モデルの中で伸びた分が、実機で確かめられること。方策が世界モデルの間違いにつけ込んでいないかを、実機の試行で見張れること | 評価と方策の改善に使える段階 | | 4 基盤モデルを作る会社 | NVIDIA・Google DeepMind・Meta・1X・Dyna | 人の動画など桁違いの量のデータと、自社の機体のデータ。計算は自前 | Cosmos・Veo・Genie 4・V-JEPA 2 など、自分たちで作る側 | 入れるかではなく、どの機体でも少ないデータで使える形で出せるか | 作っている最中。ここが実を結ぶとレベル1に届く | | 5 ロボットを導入する現場 | 店・病院・倉庫 | 世界モデルを自分で動かすことはない | メーカーやインテグレーターの中で、評価の道具として使われる | メーカーが「世界モデルで確かめた」と言うとき、実機との一致を数字で示しているか。自分の現場に近い条件で確かめたか。映像がきれいなことは、役に立つ根拠にならない | 自分で入れるものではなく、説明を聞くときの物差し | レベル1とレベル2の差は、カメラとデータと GPU のどれもが一段ずつ上がることです。カメラは奥行きの分かるものを複数台、データは1作業に数時間、GPU は手元に。どれか一つでも欠けると、論文の前提に乗れません。mechArm の環境は、GPU は借りれば届きますが、カメラとデータの2つが足りません。 レベル3の数字は大きく見えますが、どれも DROID という共通の土台の上にあります。土台を作ったのは何十人もの研究者と何台もの Franka で、レベル1の個人が自分の機体で同じ土台を作ることはできません。レベル1の環境で世界モデルが使えるようになる道は、レベル4の会社が作るどの機体にも合わせられる世界モデルが降りてくるか、SO-101 のように公開データが多い機体で、レベル3と同じことが起きるかのどちらかです。 レベル5の現場は、世界モデルの直接の使い手ではありません。ただ、ロボットのメーカーが新しい機能を「世界モデルの中で何万回も試した」と説明する日は近いはずです。そのとき聞くべきなのは、その試行が実機の結果とどれだけ一致していたか、と、自分の店や病院に近い条件だったか、の2つです。サービスロボットを店に入れたときの動きをシミュレーションで確かめているこのプロジェクトにとっては、ここがいちばん仕事に近い所でもあります。 Pixels to Motors の今の判断は、レベル1として見送りです。試すきっかけは、上の3つ（小さなアームで実機の成功率が上がった例が出る・少ないデータで別のアームに合わせられると示される・学習済みが公開されて借りた GPU ですぐ動く）。それまでは、世界モデルそのものではなく、評価の考え方だけを先に取り入れます。チェックポイントを比べるときに、同じブロックの位置で決めた回数を回し、Claude の判定で成功率を出す。これは WorldGym（世界モデルの中で動かし、成功かどうかを AI が判定する形）と同じ形で、後で世界モデルに置き換えるときの物差しになります。 ## 世界モデルは、データと計算とカメラがそろった所から降りてくる 世界モデルは、実機を動かす時間を減らすための道具で、その恩恵は今、データと計算とカメラがそろった大きな研究所から順に届いています。個人の小型アームに届くのは、どの機体にも少ないデータで合わせられる世界モデルが出たとき。そのときに、すぐ確かめられるように、評価の物差しを先に手元で作っておく。 **世界モデルを入れる基準は、カメラを増やさずに、今より動きが良くなるかどうか。2026年11月の時点で、個人のアームでそれを満たす世界モデルはまだない。** ## 出典 - [3D World Simulator プロジェクトページ](https://jwang771.github.io/3dworldsimulator/)・[論文 PDF](https://jwang771.github.io/3dworldsimulator/paper.pdf)・[GitHub](https://github.com/jwang771/3d-world-simulator)・[X の告知スレッド](https://x.com/jwang771/status/2117326064028717528) - [Interactive World Simulator（arXiv 2603.08546）](https://arxiv.org/html/2603.08546)・[プロジェクトページ](https://www.yixuanwang.me/interactive_world_sim/)・[GitHub](https://github.com/WangYixuan12/interactive_world_sim) - [Deform360（arXiv 2607.05390）](https://arxiv.org/html/2607.05390v1) - [V-JEPA 2（arXiv 2506.09985）](https://arxiv.org/abs/2506.09985)・[Meta の紹介ページ](https://ai.meta.com/research/vjepa/) - [WEAVER（arXiv 2606.13672）](https://arxiv.org/pdf/2606.13672) - [Ctrl-World（arXiv 2510.10125、ICLR 2026）](https://arxiv.org/html/2510.10125v3) - [PlayWorld（arXiv 2603.09030）](https://arxiv.org/html/2603.09030v2) - [WorldGym（arXiv 2506.00613、ICLR 2026）](https://arxiv.org/html/2506.00613v3) - [DreamZero-SO101](https://vizuara-ai-lab.github.io/dreamzero-so101/paper.html)・[Hugging Face](https://huggingface.co/Vizuara/dreamzero-so101-lora) - [LeRobot-WAM](https://github.com/lukehollis/lerobot-lewam) - [WorldArena（arXiv 2602.08971）](https://arxiv.org/html/2602.08971v1) - [Genie 4 の解説（Pebblous）](https://blog.pebblous.ai/blog/genie-4-world-model-robot-verification/en/)