論文4本で、SO-101 の成功率を左右する条件を先に確かめる

SO-101 はまだ手元にない。LeRobot で動かす低価格のアームで、いずれ購入して模倣学習（人が操作した実演を集め、その動きをロボットに覚えさせる学習）を始める予定でいる。届いてから手探りで始めると、実演を何本集めるのか、どの学習手法を選ぶのか、何回試して成功率を出すのかを、毎回その場で決めることになる。そこで購入前に論文を4本読み、SO-101 の動きの精度を左右する条件を先に拾い出した。

読んだのは、プロジェクト名の元になった Real2Render2Real（以下 R2R2R）、LeRobot チームによる入門書 Robot Learning: A Tutorial、スマホでロボットを遠隔操作する Phone2Act、SO-101 を並べて実機評価した ArmnetBench v0.1 の4本。論文探しには論文要約サービスの Moonlight を使い、要約ではなく原文の PDF を Claude に渡して読ませた。

R2R2R の「実演1本で遠隔操作150本に匹敵」は1,000本まで増やした時の話だった

論文を読んでみてください。

— Moonlight の要約に出てくる「1つのデモから150の遠隔操作に匹敵」は、どの条件の数字か？

R2R2R は、スマホで撮った動画2本からロボット用の学習データを描画で大量に作る研究。1本は物体の周りを一周して撮った動画で、ここから物体の3D形状を作る。もう1本は人が手で物体を動かす動画で、ここから物体が時間ごとにどこにあったかを追跡する。この動きを、開始位置と終了位置を変えながら何千通りにも作り直し、ロボットがその動きに付いていく関節角を計算して、作業している画像を描く。物理演算はしていない。生成は RTX 4090 1枚で毎分51本、人の遠隔操作は毎分1.7本なので約27倍になる。

ただし見出しの数字は条件付きだった。マグをコーヒーメーカーに載せるタスクで π0-FAST を学習させた場合、遠隔操作150本で73.3%、R2R2R の生成150本で33.3%、生成1,000本で80.0%。同じ本数なら人のデータのほうがずっと良く、生成データは1,000本まで増やしてようやく追いつく。本文は「差は±5%以内」と書くが、付録の検定では両方の条件を満たして「同等」と言えるタスクは1つもない。

— 精度に効いていたのは、描画のきれいさか、動きの作り直しか？

効いていたのは動きの作り直しだった。物体の動きを作り直さず、元の動きを再生するだけにすると、成功率は π0-FAST で 80.0% から 0.0%、Diffusion Policy で 53.3% から 6.7% に落ちる。一方、背景や机の模様を変えすぎると、π0-FAST は 73.3% から 35.3% に下がった。画像を派手に変えることより、開始位置と終了位置がばらついた動きを集めることのほうが効いている。

論文の付録には、別のアーム Franka で試した時の失敗が3つ書かれていた。机とほぼ平行に近づくので爪が机に当たる。片側の爪だけ先に当たって物が回って滑る。狙った位置に正確に離せない。mechArm 270 Pi の PICK/PLACE で起きてきた問題とほぼ同じ種類だった。

論文検索は英語の専門用語2〜4語で引く

moonlightでロボットに関する論文を探したいときどのようなキーワードが良いですか？

— 日本語で「ロボット 学習」と入れるのと、何が違うのか？

論文はほぼ英語で書かれているので、論文の中で実際に使われている言い回しで引くほうが当たる。長さは2〜4語がちょうどいい。handover だけでは広すぎ、文章で入れると狭すぎる。「対象＋何をするか」の組み合わせが当たりやすい。

もうひとつ有効だったのは、気に入った論文の比較表に出てくる手法名をそのまま検索に入れること。R2R2R の比較表には MimicGen、Phantom、RoboVerse、Video2Policy が並んでいて、それぞれ同じ系統の論文につながる。Moonlight のレビュー画面の右側に出る「一緒に読むと良い論文」も同じ役割を果たす。読む価値の見分け方としては、タイトルとアブストラクトに実機での試行回数と使ったロボット名が書いてあるかを見る。シミュレーションだけの論文は、実機に持ってきた時の詰まりどころが書かれていないことが多い。

SO-101 の前に読む論文を、入門書・スマホ操作・実機評価の3本に絞った

SO-101を将来購入予定ですが、必要になりそうな論文はどんなものがありますか？

どのキーワードで検索したら良いかだけ教えてください。

— Moonlight で LeRobot open-source library と引いて出てきた候補のうち、どれを読むか？

最初の検索結果は、gsplat（3D再構成の道具）や音声処理のライブラリなど、「open-source library」という語に引っかかっただけの別分野の論文だった。LeRobot だけで引き直すと候補が変わり、そこから3本を選んだ。

どれを読む？

この時点の選定はタイトルからの判断だった。実際に読んでみると、2本目と3本目は選んだ時に想定していた内容と少しずつずれていた。そのずれが、このあと書く2つの訂正につながる。

LeRobot 入門書では、報酬分類器が VLM による成否判定と同じ位置にあった

— 76ページの入門書のうち、SO-101 購入前に読むべきなのはどこか？

入門書は、古典的な制御、強化学習、模倣学習、汎用モデルの順に「なぜこの流れになったか」を説明し、各章に LeRobot で動くコードを付けている。新しい実験の論文ではなく、文中の数字は元論文の結果の引用になる。購入前に読む価値が高いのは、実演の録り方（1章）、模倣学習の手法（4章後半）、小型の汎用モデル SmolVLA（5章の一部）、実機での強化学習（3章）の4か所だった。1章の録画コードの初期値は、1回60秒、毎秒30コマ、片付け時間10秒、5回分。最初の録画はこの設定をそのまま使える。

4章の数字で効いているのは2つ。ACT という手法で、動きを数十ステップまとめて予測させるだけで成功率が1%から44%に上がった。人の実演は毎回やり方がばらつくので、単純に平均を学ばせる方式にすると成功率が33ポイント下がった。

— 3章の HIL-SERL は、Pixels to Motors の成否判定とどう関係するか？

HIL-SERL は、人が途中で手を出して修正しながら実機で学習させる強化学習。成功時と失敗時の画像を集めて小さな画像認識モデルに「成功か失敗か」を覚えさせ、それを報酬（学習の手がかりになる点数）として使う。元論文では1〜2時間の学習で成功率99%以上に達している。Pixels to Motors では、実機の動作を iPhone で撮って API に成否を判定させる方式（VLM-as-Reward）を採っている。判定役を自分のデータで学習させた小さなモデルにするか、外部の VLM に聞くかの違いだけで、学習の中での位置は同じだった。

もうひとつ読み取れたのは、模倣学習では報酬が要らないこと。実演そのものに「どこで成功して終わるか」が含まれている。SO-101 で模倣学習から始めるなら、VLM による判定は学習には使わず、学習させた動作を何回試して何回成功したかを数える評価の側で使うことになる。模倣学習は実演した人より上手にはならないので、その上限を越える段階で HIL-SERL のような方式が必要になる。

Phone2Act は Android 専用で、iPhone での操作は LeRobot 本体にすでにあった

— Phone2Act のアプリは iPhone で使えるか？

Phone2Act は、スマホを「手先の位置と向きを指示するコントローラー」にしてロボットを遠隔操作し、集めたデータをそのまま LeRobot 形式で保存する仕組み。スマホ入力、機体に依存しない計画部分、機体ごとの変換部分（ブリッジ）を分けていて、ブリッジを差し替えるだけで別の機体に使える。Dobot CR5 という産業用アームで130回分の実演を集め、汎用モデル GR00T N1.5 を追加学習させて、実機10回中9回成功した。操作してからロボットが動き出すまでは平均395ミリ秒、収集は毎分2〜3回分。

ただしアプリは Android の ARCore で位置と向きを取っていて、iPhone では使えない。SO-101 の双腕も「2台のスマホで2本の腕を動かせた」ところまでで、SO-101 で集めたデータで学習させた結果は載っていない。ソフトとアプリは「公開時に出す」と書いてあるだけで、公開場所は確認できなかった。

調べる途中で、LeRobot 本体にスマホで SO-100／101 を操作する機能がすでに入っていることが分かった。iPhone では HEBI Mobile I/O というアプリが ARKit で位置と向きを送る。押している間だけ動き、押し直すと基準位置を取り直す。手先が範囲の外に出ないよう抑え、1回の移動量にも上限（初期値0.10m）をかける。中身は Phone2Act とほぼ同じ構成だった。

SO-101 については Phone2Act の公開を待つ必要はない。Phone2Act の考え方が効くのは mechArm 270 Pi のほうで、mechArm は LeRobot の対応機種ではないため、スマホ入力と記録を共通にして mechArm 用のブリッジだけを書く構成にすれば、同じ仕組みでデータを集められる。気になる点もひとつ残る。SO-101 は5関節なので、スマホで指示した手先の向きを全部は再現できない。そのことがデータの質にどう影響するかは、どちらの資料にも書かれていない。

ArmnetBench の実演50本の比較で、SmolVLA は7手法中最下位だった

— SO-101 で最初に試す手法として SmolVLA を勧めたのは正しかったか？

論文を探す段階では、SmolVLA を「SO-101 との相性が一番いい」と勧めていた。約4.5億パラメータの小型モデルで、SO-100／101 で集められた450以上の公開データセットで事前学習されているからだった。ArmnetBench を読んで、この推薦は見直しが必要になった。

ArmnetBench は、SO-101 にカメラ3台と Raspberry Pi 5 を足した作業台を3台並べ、12タスク×7手法×30回、合計2,518回の試行を人が「成功／不十分／失敗」で採点した研究。作業台1台の部品代は片腕で約359ドル、人の手間は1回あたりリセットと採点の約10秒。どの手法も、各タスク50本の同じ実演で学習させている。

実演50本の条件では、SmolVLA は ACT や Diffusion Policy より低かった。首位の π0.5 は計算資源が大きく、手元の計算機で回せるかが別の問題になる。手元で回せる範囲で最初の1本を選ぶなら、Diffusion Policy か ACT のほうが妥当になる。ただし ACT は片腕では中位だったが、双腕では2.5%まで落ちた。双腕では Diffusion Policy が35.8%で2位に上がっている。ケーブルをホルダーに押し込む作業は、7手法すべてで0%だった。接触の多い作業は最初の題材に向かない。

30回の試行では、成功率は上下に約18ポイントぶれる

— タスク別の表で、どの手法がどのタスクに強いと言えるか？

言えることは少ない。ArmnetBench のタスク別の表は1マスが30回の試行でできている。成功率50%前後で30回だと、偶然のぶれだけで上下に約18ポイント動く（95%の範囲、正規近似での計算）。表の中で10ポイント程度の差は、手法の差なのか偶然なのか区別できない。約360回をまとめた総合成績なら、ぶれは約±5ポイントまで縮む。

ArmnetBench は条件管理の反省点も書いている。物の初期位置を記録していないので、どこに置いた時に失敗しやすいかを分析できない。1回の試行の制限時間がなく、いつ打ち切るかは人の判断になっていた。作業台3番の正面カメラは、1手法を除く全手法でずれていた。3段階の採点も、「不十分」が全体の3.5%しか付いておらず、実質は成功と失敗の2段階になっていた。

この反省点は、そのまま SO-101 での評価手順の項目になる。30回固定、同じ作業台、同じ学習本数という決まりに加えて、初期位置と制限時間を記録し、カメラ位置を試行の前に確認する。mechArm の通し台帳には67列の記録があるが、SO-101 の評価でも同じ考え方で列を決めておけば、成功率の差を条件の差と取り違えずに済む。

SO-101 の精度を上げる条件を、論文の数字がある順に並べた

３つの論文を読んでSO-101で模倣学習などを行う上で、何が役に立ち、何がロボットの動きの精度を上げると分析できましたか？わかる範囲で答えてください。

— 4本の論文の数字から、SO-101 の精度を上げる条件として何が言えるか？

精度は手法だけで決まっていない。同じ50本の実演でも、物の置き場所を散らしたか、カメラを固定したか、背景を無地にしたかで成功率は変わる。手法を選んだあとに残るのは、実演の集め方と、作業台の見た目をどれだけ一定に保てるかの問題になる。

分からないことも残った。スマホ操作とリーダーアーム（手で動かす側のアーム）で集めたデータの質の差を比べた論文はない。何本集めれば十分かも、4本とも50〜150本の範囲の話で、SO-101 で本数を増やした時の伸び方は分からない。VLM の判定がどこまで人の採点と一致するかも、まだ誰も測っていない。

最初の一歩はこう組める。題材は ArmnetBench で成功率が高かった単純な「つかんで置く」作業（目薬をかごへ：最高70%）に近いものにする。リーダーアームで実演を50本集め、物の置き場所は範囲内で散らし、カメラは固定する。Diffusion Policy と ACT の両方で学習させ、初期位置と制限時間を記録しながら30回ずつ評価する。

SO-101 が届く前に、ArmnetBench の公開映像3,118本で VLM の判定精度を測れる

— 実機がなくても、今の時点でできることはあるか？

ArmnetBench は、人が採点した SO-101 の試行映像と実演映像、合計3,118本を Hugging Face で公開している。同じ映像を VLM に見せて成否を判定させ、人の採点と何%一致するかを測れば、VLM-as-Reward がどこまで使えるかを実機なしで確かめられる。ArmnetBench 自身も「報酬モデルで採点を自動化すること」を今後の課題に挙げていて、採点の自動化は、1人で見られる作業台の数を増やす条件にもなっている。

mechArm 270 Pi では、VLM に PICK の成否を判定させて「成功」の判定が出たところまで進んでいる。ただ、その判定が人の目と何%一致するのかは、比べる正解データがなかったので測れていなかった。ArmnetBench の公開映像は、その正解データになる。

実機を買う前に、成否を判定する仕組みの精度を、他人が採点した3,118本の映像で先に測れる状態にある。