# 人のお手本をロボット自身の記録に変える

**要点。** 人が身につけた装着具・手持ちの道具・素手の動画で集めたデータを、何も変えずにロボットの学習に使えた研究は見つからなかった。どの研究も、次の4つのどれかで差を埋めている。A は集める道具やカメラの付け方をロボットに合わせる方法、B は画像から人を消してロボットを描き足し、手の動きを関節角に計算し直す方法、C は人の動きを計画としてロボットに実際に動かさせ、撮り直す方法、D は人のデータとロボットのデータを混ぜて学習する方法。π0.5 で人のデータだけの学習が遠隔操作（人がロボットを直接操って集めたデータ）に並んだ例は HiFi-UMI の **77.5% 対 74.4%** の1件だけで、それも**約10倍のお手本数**と、力を制御できる高価な7軸アームが前提だった（査読なし）。4つの方法すべてに残るのは、**ロボットが指令どおりに動かないずれ**だ。このずれを学習データに入れられるのは、実際にロボットで動かした記録しかない。mechArm 270-Pi のように手首カメラがなく、サーボのずれが大きい卓上アームで現実的なのは、エイイチが考えている C（人を計画にしてロボットで撮り直す）である。この形は、Armstrong Robotics の π0.5 の実験（会社のブログ。成功率の数字はない）と、DexUMI（査読あり）の作りに近い。安い卓上アームで人のデータから VLA（画像と言葉の指示を受けてロボットの動きを出す大きなモデル。π0.5 もその一つ）を学習し、成功率を出した報告は1件も見つからなかった。そのため、mechArm で測れば、それ自体が他にない記録になる。なお本文の Real2Render2Real は UC Berkeley などの論文を指す。この論文から名前を取ったエイイチのプロジェクト名 R2R2R とは別物である。

## 3つの差は、腕の届き方・カメラの絵・サーボの遅れとして現れる

3つの差は、どれもロボットの体の上で起きる具体的な問題だ。1つ目は**体の形の差**。人の手は5本指だが、mechArm の手は2本爪のグリッパー（平行に開閉するつかみ具）である。そこで研究では、親指と人差し指の先の中点を手先の位置、2本の指を通る面を手先の向き、指先の間の距離をグリッパーの開き具合とみなして、5本指を2本爪に落としている ([Phantom](https://arxiv.org/html/2503.00779v1))。手先の位置が決まったら、IK（手先の位置から関節角を逆算すること）で各関節の角度を求める。ただし、人が自然に届く位置にロボットが届くとは限らない。UMI を別のアーム（Franka）で試したとき、20回中の失敗2回はどちらも関節の可動範囲を超えたことが原因だった ([UMI](https://arxiv.org/html/2402.10329v3))。速さも違い、人はロボットの2〜3倍速く動く。そのため人のデータを4倍や2.25倍に引き延ばしてから使う研究がある ([EgoBridge](https://arxiv.org/html/2509.19626v1)、[EgoMimic](https://arxiv.org/pdf/2410.24221)、[MotionTrans](https://arxiv.org/html/2509.17759v1))。

2つ目は**カメラに映る見た目の差**。固定カメラで撮ると、集めるときは人の腕が映り、本番ではロボットの腕が映る。方策（ロボットの動かし方を決める学習済みモデル）はこの違いに耐えられない。Phantom では、人の映った動画をそのまま学習した方策は5つの作業すべてで成功率0だった ([Phantom](https://arxiv.org/html/2503.00779v1))。MV-UMI では、外から見るカメラの映像から人を消さないと、性能が全部入りの1割に落ちた ([MV-UMI](https://arxiv.org/html/2509.18757v1))。Armstrong Robotics は、遠隔操作で学習した π0.5 がロボット自身の腕の見た目を置き場所の手がかりに使っていたらしいと書いている。人のお手本からは、この手がかりが手に入らない ([Armstrong Robotics](https://armstrongrobotics.substack.com/p/fine-tuning-pi05-with-umi-the-promise))。

3つ目は**指令どおりに動かないずれ**。Armstrong Robotics の6軸アーム（i2rt YAM Ultra）は、制御に積分項（ずれが残り続けると押し戻す力を足していく仕組み）がない。そのため物を持つと関節が**5〜10°**下がった。押し戻す強さ（比例ゲイン）を上げると手先のずれは最大約1cmに減ったが、腕が硬くなって細かく震えた ([Armstrong Robotics](https://armstrongrobotics.substack.com/p/fine-tuning-pi05-with-umi-the-promise))。人のデータは「アームは完璧に動く」という前提で作られている。だから、それで学習した方策は、ずれを見て直す動きを覚えられない。これが衝突や、学習で見たことのない状態につながる、というのが同社の結論だ。

| 差 | mechArm で起きること | 証拠 |
|---|---|---|
| 体の形 | 5本指を2本爪に落とす計算が要る。人が届く位置に腕が届かない。人の方が速い | Phantom、UMI の失敗2回、EgoMimic の4倍の引き延ばし |
| 見た目 | 上と横の iPhone に人の腕が映り、本番ではロボットが映る | Phantom で加工なしは成功率0、MV-UMI で人を消さないと1割 |
| 動きのずれ | 指令角と到達角が違う。物を持つと下がる。遅れる | Armstrong で5〜10°、ゲインを上げると震え |

## 4つの解決策は、どの段階で差を消すかで分かれる

比べる前に注意がある。下の表の成功率は、作業・アーム・試行回数がばらばらで、**お手本の数をそろえた比較ではない**ものが多い。

| 分類 | 代表例（査読） | 解決する差 | 残る差 | 主な数字 | 費用 | コード |
|---|---|---|---|---|---|---|
| A 集める前に道具をロボットに合わせる | UMI（RSS 2024・査読あり）、HiFi-UMI（査読なし）、AirExo-2（CoRL 2025・査読あり）、DexUMI（CoRL 2025・査読あり） | 体の形、手首カメラの見た目 | 動きのずれ。手首カメラが要る。外のカメラには人が映る | UMI はカップ並べ 20/20。HiFi-UMI は π0.5 で 77.5% 対 遠隔操作 74.4%（3,200本 対 約300本）。AirExo-2 は同じ50本で 85.0% 対 93.75% | UMI は約5.6万円（$371）、AirExo-2 は双腕で約9万円（$600、カメラ別） | UMI-FT は公開。AirExo-2 は公開予定と記載。UMI 本体は未確認 |
| B 集めた後に見た目と動きを変換する | Phantom（CoRL 2025・査読あり）、Shadow（CoRL 2024・査読あり）、EmbodiSwap・RoboPaint（査読なし） | 見た目（人を消してロボットを描く）、体の形（IK） | 動きのずれ。カメラの校正が狂うと崩れる。つまみ持ちだけ。ゆっくりした作業だけ | Phantom はロボットのお手本ゼロで 0.40〜0.92。RoboPaint は π0.5 で手首カメラなし 46.6% 対 遠隔操作 83.3% | 1台の一般向け GPU で動く規模（EmbodiSwap は RTX A5000 1台）。動画生成型は H200 8台 | EmbodiSwap・RoboPaint は公開。Phantom の公式は未確認 |
| C ロボットで再生して撮り直す・少ないお手本から増やす | DexUMI の再生、Armstrong（会社のブログ）、DemoDiffusion（査読なし）、MimicGen（CoRL 2023・査読あり）、Real2Render2Real（CoRL 2025・査読あり） | 見た目と動きのずれ（ロボット自身の記録になる） | ロボットの稼働時間がかかる。ロボットが動けない計画は捨てる | DemoDiffusion は素の再生 52.5%、方策で補正しながら再生 83.8%。MimicGen は 10本から1,000本に増やして 11.3%→90.7%（Square） | ロボットの稼働時間。Real2Render2Real は RTX 4090 1台で1分に約51本 | 今回の調べでは未確認 |
| D モデル側で混ぜて学習する | PI の人からロボットへの移し替え（査読なし）、EgoMimic、EgoBridge（NeurIPS 2025・査読あり）、MotionTrans（査読なし） | ロボットにない動きの知識を足す | 体の形・見た目・ずれのすべて。対象ロボットのデータが必ず要る | π0.5 で人の動画約14時間を半分ずつ混ぜて、スパイス棚 32%→71% | 大規模な事前学習が前提 | PI は非公開。MotionTrans は公開（π0 版あり） |

### A：道具をロボットに合わせると、形と手首の絵はそろうが、腕の精度を前提にする

UMI は、ロボットと同じグリッパーの手持ち版を作り、手首に魚眼の GoPro を付けた道具だ。方策が見るのは手首カメラの絵だけなので、集めるときも本番も同じ絵になる。位置は SLAM（カメラの映像から自分の位置を割り出す技術）で追い、誤差は約6mm・3.5°。動きは現在の手先からの相対的な動き（今の位置からどれだけ動くか）で表す。相対で表すとカップ並べで 80%、絶対位置で表すと 25% だった ([UMI](https://arxiv.org/pdf/2402.10329))。材料費はグリッパー約1.1万円（$73）とカメラ類約4.5万円（$298）。ただし、試したアームは UR5 と Franka という研究・産業用の精密なアームだけで、論文も、ロボットが手先の軌道を正確に追えることを前提にしている。

後継の研究は、この前提の上で精度を上げている。HiFi-UMI は手先の誤差を3mmに下げ、集めたデータの約96%が使えた。π0.5 の追加学習では、ロボット不要のデータだけで 77.5%、遠隔操作だけで 74.4% だった。ただしお手本は1作業あたり約3,200本 対 約300本で数がそろっていない。アームは力を制御できる7軸（Tianji Marvin M6）で、手首カメラ4台を付けている。著者自身も、残る差はアームの運動の範囲だと書いている ([HiFi-UMI](https://arxiv.org/abs/2607.25895)、[alphaXiv 版](https://www.alphaxiv.org/abs/2607.25895.md))。AirExo-2 は、ロボットの腕と同じ寸法・同じ関節の外骨格（腕に着けるロボットの腕の模型）を使う。関節角をそのまま写せるので IK が要らず、手先の追従の誤差は 1.7mm（UMI は 8.9mm）。それでも、お手本50本どうしの比較では遠隔操作より 8.75 ポイント低かった ([AirExo-2](https://arxiv.org/abs/2503.03081v2))。力の情報を足す UMI-FT は、指先1個あたり約1,500円（$10）のセンサーで拭き掃除 92% を出した。ただしロボット側に、押されたら柔らかく逃げる制御（アドミッタンス制御）が要る ([UMI-FT](https://arxiv.org/html/2601.09988v1))。

腕の形をそろえた装置で、ロボット不要ではなく遠隔操作に使うのが、リーダーアーム（ロボットと同じ形の操作用の腕。動かすと本物のロボットが同じ関節角で動く）である。HOMIE は約7.5万円（$500）で公開されている ([HOMIE](https://arxiv.org/html/2502.13013v2))。SO-101 のリーダーアームも同じ考え方だ。この方式は本物のロボットが動いた結果を記録するので、3つの差がそもそも生まれない。代わりに、集める速さは遠隔操作の速さで止まる。

### B：後から変換すると見た目は直せるが、校正と手の推定に弱い

主流の手順はこうだ。まずセグメンテーション（画像の中の人の腕の範囲を切り出すこと。SAM2 を使う）で腕を切り出す。次にインペインティング（画像の一部を消して周りから埋めること）で消す。HaMeR で手の3D の形を推定し、ロボットの3D モデル（URDF。ロボットの形と関節を書いたファイル）をその位置に描いて重ねる。Phantom はこの手順で、ロボットのお手本ゼロのまま5作業で 0.40〜0.92 を出した。加工なしは全部0である。外を撮るカメラは深度（距離）も取れるもので、手首カメラは使っていない。カメラの設置位置（外部パラメータ）を知らなくても、学習時にロボットの台座の位置を最大20cmずらして描けば 0.96 が出た ([Phantom](https://arxiv.org/html/2503.00779v1))。ただし、人のお手本はロボットのお手本より効率が悪い。100本どうしでは人 0.64 対 ロボット 0.88 で、人のお手本が300本でようやく 0.84 に届いた。

弱点は**校正**（カメラとロボットの位置関係を測って合わせること）だ。ロボットの見た目を別のロボットに描き変える研究 Shadow では、実機で校正にずれ（1cm・5°）を入れると 0.98 が 0.64 に、2cm・10° で 0.20 まで落ちた（1条件25回） ([Shadow](https://arxiv.org/html/2503.00774v1))。π0 と π0.5 での数字もある。EmbodiSwap では、π0 を変換データだけで学習して 28%。研究室で集めた遠隔操作30本では 18% で、数はそろっていない ([EmbodiSwap](https://arxiv.org/html/2510.03706v1))。RoboPaint では、π0.5 を変換データで学習すると、手首カメラありで 80%（遠隔操作 100%）、**手首カメラなしで 46.6%（同 83.3%）** だった ([RoboPaint](https://arxiv.org/html/2602.05325v2/))。mechArm には手首カメラがないので、後者の差が参考になる。動画生成で人をロボットに描き変える H2R-Grounder は、H200 を8台使い、出力は Franka だけで、ロボットでの成功率は出していない ([H2R-Grounder](https://arxiv.org/html/2512.09406v1))。小さなアームに合わせて人の動きを縮める方法や、遅いロボットに合わせて時間を引き延ばす方法を検証した論文は見つからなかった。

### C：ロボットで撮り直すと3つの差が同時に消え、代わりにロボットの時間を使う

Armstrong Robotics（会社のブログ、査読なし）は、UMI 型の道具で皿洗いの π0.5 を学習した。UMI のデータだけの方策は皿をつかめたが、置くのが苦手だった（二重に置く、ラックの段を飛ばす）。学習に使った軌道のうち30本をロボットで再生してロボットのカメラで撮り直し、置く部分だけをそれで学習した方策は、元の UMI データの方策より明らかに確実に置けた。成功率の数字は出していない ([Armstrong Robotics](https://armstrongrobotics.substack.com/p/fine-tuning-pi05-with-umi-the-promise))。DexUMI（査読あり）も、ロボットの手の見た目を描かずに、記録した関節角を本物のロボットの手で再生して撮り、その画像を合成している ([DexUMI](https://arxiv.org/html/2505.21864v2))。

再生のやり方で結果が変わる。DemoDiffusion は、人の動画1本を手先の軌道にした。そのまま再生すると 52.5%、学習済みの π0（DROID で学習した版）にカメラを見ながら補正させると 83.8% で、π0 単独は 13.8% だった（Franka、8作業×10回）([DemoDiffusion](https://arxiv.org/html/2506.20668v2))。再生の前に「動けない計画」を捨てる仕組みも効く。Dxtr の研究（査読なし、著者1人）は、届く範囲・爪の開き幅・物の幅などを動かす前に確かめた。確かめで弾いたのに動かした13組は、13組とも失敗した。この研究には myCobot 280（mechArm と同じ会社の小型アーム）と SO-101 も入っているが、SO-101 は1組だけで結果が出ていない ([Dxtr](https://arxiv.org/html/2610.20351))。

少ないお手本から増やす研究も C に入る。MimicGen（査読あり）は、10本程度のお手本を物の位置ごとに分けた部分に切り、新しい物の位置に合わせて動かし直して、成功したものだけを残す。人の200本と、10本から作った200本がほぼ同じ性能だった。作った軌道のうち実際に成功した割合はアームによって 38〜74% で、失敗の原因は制御とアームの運動の小さなずれだった ([MimicGen](https://ar5iv.labs.arxiv.org/html/2310.17596))。Real2Render2Real（論文。エイイチの R2R2R の由来）は、スマホで撮った物の形と人の動画1本から、RTX 4090 1台で1分に約51本のお手本を描き出す。π0-FAST では、描いた1,000本が遠隔操作150本と同等か上回った（引き出し 86.6% 対 60.0%）。ただし統計上は同等と言い切れず、摩擦や力は計算に入っていない ([Real2Render2Real](https://arxiv.org/html/2505.09601v1))。このように C の研究の多くは、アームが計画どおりに動く前提でシミュレーションか画像の上で作っている。ずれを含めた記録になるのは、本物のロボットで再生した場合だけだ。

失敗から立て直すお手本も、ロボットで集める必要がある。RaC では、失敗しかけたら人が割り込み、ロボットを見慣れた状態まで巻き戻してから作業を終わらせた。これで集める量が約10分の1で済んだ ([RaC](https://arxiv.org/html/2509.07953v1))。PI の π*0.6（会社の研究、査読なし）は、ロボットが動いた結果と人の修正を繰り返し学習して、難しい作業の処理量を2倍超にしたと主張している ([π*0.6](https://arxiv.org/html/2511.14759v2))。Armstrong が同じ方式を20本×2回の小さな規模で試したところ、方策は成否の情報を無視し、失敗した動きまで真似した ([Armstrong Robotics](https://armstrongrobotics.substack.com/p/fine-tuning-pi05-with-umi-the-promise))。

### D：モデル側で混ぜても、対象のロボットのデータは消えない

Physical Intelligence の研究（査読なし、コード・データ非公開）は、頭に付けたカメラで撮った人の動画を、手の位置を手先の動きとみなして π0.5 の追加学習に混ぜた。人の動画は約14時間で、近いロボットの作業のデータと半分ずつにした。結果はスパイス棚 32%→71%、タンス 25%→50%、卵の色分け 57%→78%。ただし**グリッパーの開閉は人の動画から推定せず、ロボットのデータだけで学習**している。効果が出たのは、ロボットでの事前学習が十分に多様になってからだった ([PI 論文](https://arxiv.org/pdf/2512.22414)、[PI ブログ](https://pi.website/research/human_to_robot))。公開されている pi05_base にこの効果が出るだけの事前学習があるかは、公開情報では誰も試していない。openpi の説明書には、人のデータを混ぜる設定もない ([openpi README の写し](https://huggingface.co/s3y/openpi/blob/main/README.md))。MotionTrans は、対象の作業のロボットデータがないと成功率 **0%** で、腕の動きもほぼでたらめだった ([MotionTrans](https://arxiv.org/html/2509.17759v1))。人の動画を2万時間使った EgoScale でも、最後に1作業あたり20〜100本の遠隔操作を足している ([EgoScale](https://arxiv.org/html/2602.16710))。

## 人のデータだけでの学習を掲げる会社は、どれも自社のロボットに閉じている

会社の数字はほぼすべて会社の主張で、第三者の検証はない。独立した証拠と言えるのは論文と、米国の証券当局（SEC）への届け出くらいである。

| 会社 | 装置と差の埋め方 | 主な主張（会社の主張） | 外販 |
|---|---|---|---|
| Dream Robotics（Nathan Kau） | DreamCatcher：指先に力センサーのあるグローブと記録用のバックパック。グローブの形を自社ロボット DreamOne の手に合わせる（A） | 作業者が普段の勤務中に着けて「数千時間」を集め、目標は100万時間。ロボット1台1時間 750円（$5）で貸す。CEO の X 投稿では、DreamCatcher01 はバックパック約450g、触覚グローブ・LiDAR・4K カメラ付きで、6万円未満（$400 未満） | 装置・データとも記載なし ([Dream Robotics](https://dreamrobotics.tech/)) |
| Sunday | Skill Capture Glove。ロボット Memo の手と同じ形とセンサー配置にし、変換ソフト Skill Transform で身長・腕の長さ・見た目の差を消す（A＋B） | 変換の成功率90%。遠隔操作の軌跡ゼロで学習 | 記載なし ([Sunday](https://www.sunday.ai/journal/no-robot-data)) |
| Generalist AI | UMI 型の手持ちグリッパーで事前学習し、最後だけ対象ロボットで学習（A＋D） | GEN-1 は50万時間超。新しいロボットには約1時間のロボットデータで適応 | 早期アクセスのみ ([Generalist](https://generalistai.com/blog/nov-04-2025-GEN-0)、[The Robot Report](https://www.therobotreport.com/generalist-introduces-gen-1-general-purpose-model-for-physical-ai/)) |
| Simple AI | HiFi-UMI（A） | 遠隔操作並み（論文あり、査読なし） | 約2,000時間のデータを Hugging Face で公開 ([AI Weekly](https://aiweekly.co/alerts/simple-ais-hifi-umi-matches-teleop-with-robot-free-data-alone)) |
| Chestnut Robotics | 着ける装置 Aero UMI と18自由度の Aero Hand を同じ形にする（A） | 体の差はゼロ（記事は設計上の主張と注記） | 価格未発表 ([Humanoids Daily](https://www.humanoidsdaily.com/news/chestnut-aero-hand-umi-iros-2026)) |
| Reward AI | 7自由度のグローブと、どのロボットにも共通の方策（A＋D） | 新しい作業を人のデータ30分未満で覚える | 記載なし ([Humanoids Daily](https://www.humanoidsdaily.com/news/reward-ai-exits-stealth-with-om-1-pitching-zero-shot-human-to-robot-manipulation)) |
| Build AI | 頭に付けるカメラで工場の作業者を撮る（D 向けの素材） | 10万時間超・作業者約1.4万人 | 動画を公開（登録制）([Humanoids Daily](https://www.humanoidsdaily.com/news/build-ai-scales-to-100-000-hours-as-data-scaling-becomes-robotics-new-frontier)) |
| Figure（Project Go-Big） | 住宅で撮った一人称動画（D） | 家の中の移動を、ロボットのデータなしで覚えた（移動だけ） | なし ([Figure](https://www.figure.ai/news/project-go-big)) |
| Dream Labs（Dream Robotics とは別会社） | 一人称動画から動きを推定するモデル（D） | API は1時間450円（$3）、軽量版は約113円（$0.75） | API を提供 ([SiliconANGLE](https://siliconangle.com/2026/10/19/dream-labs-raises-90m-to-help-build-more-intelligent-robots-with-simple-video-feeds/)) |
| Scale AI・Encord・Sensei など | 集める作業の請負。Sensei は外骨格の腕型の装置を4.5万円未満（$300 未満）と主張 | Scale は1日1,000時間超。顧客に PI・Generalist・Dyna | 受注収集 ([Scale](https://scale.com/robotics)、[Encord](https://encord.com/data-collection/)、[Sensei](https://www.ycombinator.com/companies/sensei)) |

ロボットの手と同じ形の装着具を作る会社（Dream・Sunday・Chestnut・Reward）は、装置もデータも外に売っていない。形を合わせるほど、データはその会社のロボットにしか使えなくなる。

日本では向きが逆で、大きな投資は遠隔操作の集中拠点に向かっている。山善などの J-HRTI は千葉にヒューマノイド最大50台・常駐約100人の収集センターを作った ([ITmedia AI+](https://www.itmedia.co.jp/aiplus/article/2603/26/1260326096/))。アトムは豊洲で2027年末までに200台を動かす計画だ（記事の数字の表記が乱れている）([Business Insider Japan](https://www.businessinsider.jp/article/2608-atom-ai-robot-data-factory-toyosu/))。人のお手本を UMI で集める請負は、東大発の commissure が2026-08-28 に始めた「UMIデータ取得サービス」がほぼ唯一で、価格・規模は書かれていない ([TechnoEdge](https://www.techno-edge.net/release/prtimes2/20260828/24380.html))。ほかに、ジールス×タイミーの「データ収集スポットワーク」（現場の人の扱い方や手順を集める）([MONOist](https://monoist.itmedia.co.jp/mn/articles/2608/28/news061.html))と、Diver-X のロボット向けグローブ ContactGlove3 Pro（49万8,000円）がある ([EE Times Japan](https://eetimes.itmedia.co.jp/ee/articles/2606/24/news095.html))。個人が値段付きで買える装置として確認できたのは、この Diver-X だけだった。

## どの研究でも、最後は対象のロボットで動かした記録が要る

5つのノートを通して、同じ結論が繰り返し出てくる。1つ目に、**対象のロボットのデータをゼロにできた研究はない**。MotionTrans は対象作業のロボットデータがないと 0% ([MotionTrans](https://arxiv.org/html/2509.17759v1))。EgoRecovery は、人の立て直しのお手本を1作業300本足しても、ロボットの立て直しのお手本がないと立て直しの成功率が 8.8% にとどまり、ロボットの成功50本と立て直し50本を足して 85.0% になった ([EgoRecovery](https://www.alphaxiv.org/abs/2607.19745))。PI もグリッパーはロボットのデータだけで学習している。ロボットのお手本ゼロで動いた Phantom も、ロボットのデータと混ぜると、見たことのない場面での成功率が 0 から 0.80 に上がった ([Phantom](https://arxiv.org/html/2503.00779v1))。

2つ目に、**見た目をそろえないと崩れる**。加工なしの Phantom は 0、人を消さない MV-UMI は1割、変換の部品を外した AirExo-2 は 90% から 52.5% に落ちた ([AirExo-2](https://arxiv.org/abs/2503.03081v2))。ロボットの位置を黒く塗るだけでロボットの形を描かない場合も、0.02 しか出なかった（Shadow のシミュレーション） ([Shadow](https://arxiv.org/html/2503.00774v1))。3つ目に、**カメラの校正がいちばん壊れやすい**。Shadow では 0.98 が 0.20 に落ちた。4つ目に、**アームが計画どおりに動く前提が、どの方法にも隠れている**。HiFi-UMI の再生確認には、1秒に1,000回指令を送る専用の制御器を使っている ([alphaXiv 版](https://www.alphaxiv.org/abs/2607.25895.md))。MimicGen の失敗も制御とアームの運動のずれから来ていた。Armstrong は、このずれを直せることこそ学習した方策の強みで、それを手放してまでデータ量を取るのが得かは分からないと書いている。

5つ目に、**人のデータの利点は質ではなく集める速さ**だ。UMI は遠隔操作の3倍超の速さで集められ ([UMI](https://arxiv.org/pdf/2402.10329))、AirExo-2 は1本 5.66秒（関節の遠隔操作は17.31秒）だった。RoboPaint は2.57〜5.33倍、EgoRecovery は約10.5倍。一方、数をそろえると人のデータはロボットのデータに届いていない。AirExo-2 は −8.75 ポイント、Phantom は100本どうしで 0.64 対 0.88 だった。そして6つ目に、**安い趣味用のアームでの成功率はどこにもない**。SO-101 で VLA を比べた唯一の研究は遠隔操作100本で π0.5 が平均 56.25% だったが、1条件20回なので誤差は ±22 ポイントほどある ([SO-101 比較とその批評](https://mcobzarenco-fontaine-blog.static.hf.space/papers/so101-vla-benchmark.html))。

## mechArm では、人を計画にしてロボットで撮り直す順番が現実的

ここからは、ノートの証拠から導いた**推論**である。mechArm で検証された手順ではない。mechArm の条件（手首カメラなし、固定の iPhone 2台、サーボのずれが大きい、1.5M 点の FK 表がある）に照らすと、外れる選択肢が先に見えてくる。A の UMI 型は手首カメラと精密なアームが前提なので外れる。B の描き変えは校正が命で、上と横の iPhone の校正が少し狂えば Shadow と同じ崩れ方をする。D は pi05_base で効く証拠がなく、openpi に設定もない。残る C は、人の画像が学習に一切入らないので見た目の差が消え、mechArm 自身のずれも記録に入る。エイイチの考える「人を計画、ロボットで再生、ロボットの記録で学習」は、この点で筋がよい。

もう一つ、ブロックの置き場所を散らすという今の課題には、人より安い手がある。それは、今の手で教えるキーポーズを MimicGen 式に動かし直すことだ。ブロックの位置が変わったぶんだけ、つかむ前後の手先の位置をずらし、FK 表（関節角から手先位置を引く表。1.5M 点）で一番近い関節角を探す。こうして新しい位置の計画を作り、ロボットで再生して成功したものだけ残す。この方法なら人を撮る仕組みが要らない。人の計画が効いてくるのは、手で教えにくい軌道（よけながら近づく、押してからつかむ、など）が必要になったときだ。

| 順番 | やること | 狙い | 根拠 |
|---|---|---|---|
| 1 | 教えたキーポーズを、新しいブロック位置に合わせて動かし直す。FK 表で関節角を探し、届かない・可動範囲外・爪の幅が足りない計画は動かす前に捨て、ロボットで再生して成功だけ残す | 置き場所を散らす（今の課題） | MimicGen（10本から1,000本）、Dxtr（弾いた計画は13/13失敗） |
| 2 | 人の計画を足す。机に届く範囲を印で示し、その中で人がブロックを動かすところを同じ iPhone 2台で撮る。HaMeR の手の推定か、グリッパーを模した手持ちの棒に付けた印から手先の位置と開閉を取り、FK 表で関節角にし、遅くしてロボットで再生、2台で撮り直す | 手で教えにくい軌道を入れる。人の画像は学習に入れない | Armstrong の再生、DexUMI の再生。UMI の著者も、模様の少ない場面では固定カメラと道具の印を勧めている |
| 3 | 1回終わった置き場所を次の回の始めの位置にして、計画を続けて流す | 人が戻さずに回せる | 推論（文献なし） |
| 4 | π0.5 が動き始めたら、失敗しかけたところで止めて巻き戻し、手で直した回を足す。前のデータも必ず混ぜて学習する | ずれからの立て直しを覚えさせる | RaC（約10分の1の量）、RECALL（立て直しだけで学習すると前の作業を忘れる） |
| 5 | 余力があれば、人の手の動画をそのまま半分混ぜる学習を1回だけ試す | 効くかどうかを記録する | PI の研究。pi05_base では誰も試していない |

π0.5 の学習まわりでは、Armstrong の作業上の注意がそのまま使える。1つ目、openpi は作業の終わりより先の動きを最後の状態で埋めるのに、その部分も学習してしまい、方策が終わり際で止まった。埋めた部分を学習から外すと直った。2つ目、Real-Time Chunking（次の動きのまとまりを、今の動きを続けながら計算する方法）で、遅れたアームが前の位置へ戻るガクつきが直った。3つ目、手先の相対的な動きで表す方が、関節角で表すより良かった ([Armstrong Robotics](https://armstrongrobotics.substack.com/p/fine-tuning-pi05-with-umi-the-promise))。記録の状態の欄には、指令角ではなく到達角を入れる。

比較になる測り方も決めておく。まず**計画の通過率**：作った計画のうち、動かす前の確認を通った割合と、再生で成功した割合。MimicGen の 38〜74%、Dxtr の 31% が目安になる。次に**指令と到達のずれ**：関節ごとの度数と、FK 表で換算した手先の mm。Armstrong の 5〜10° と比べられる。**1本あたりの所要時間**は、手でキーポーズを教える場合、人が動かす場合、ロボットの再生の3つを分けて測る。**学習後の成功率**は、学習に入れていないブロック位置で測る。条件は、キーポーズの再生だけ・人の計画の再生だけ・両方の3つで、**お手本の本数をそろえる**（HiFi-UMI のように数がずれると、何が効いたか分からない）。1条件50回以上か、同じ位置で条件を入れ替えて比べる組の設計にする。20回では ±22 ポイントの差が誤差に埋もれる。さらに、手順・FK 表・カメラ位置・依存するバージョンを公開すれば、Mission の「再現可能な環境」の条件にそのまま合う。

SO-101 のリーダーアームは、SO-101 本体と組で関節角を写す道具だ。そのまま mechArm には使えない（推論）。mechArm と同じ寸法の腕の模型を作れば、AirExo や HOMIE と同じ形の差のない集め方になる。ただし、置き場所を散らすという今の課題に対しては、順番1より手間が大きい。

## 結論

この分野で差がいちばん小さい集め方は、精密な人の道具ではない。対象のロボットが自分で動いた記録である。研究と会社は、人のデータの速さを取るために A・B・D で差を埋めようとしてきた。それでも最後は、ロボットで動かした記録を足すか、ずれの小さい高価なアームを使うかに戻っている。逆に言えば、ずれの大きい安いアームでは、人のデータの速さという利点は小さくなる。人のデータの役目は、ロボットのお手本の代わりではなく、ロボットに何を試させるかの計画になる。mechArm で計画の通過率と、お手本の数をそろえた成功率を出せば、この分野で抜けている「安いアームでどこまで効くか」の最初の数字になる。

## 確認できなかったこと

DreamCatcher01 の型番と仕様（約450g・LiDAR・4K カメラ・6万円未満）は CEO の X 投稿だけが出典で、会社のサイトでは確認できなかった。また、Nathan Kau が Reward と Chestnut を同業と呼んだという元の投稿も見つからず、両社の特定は名前と事業内容からの推定である。Sunday のグローブの価格（約3万円＝$200、または約6万円＝$400）と約1,000万エピソードは二次情報だけが出典だった。HiFi-UMI は装置の価格とデータのライセンスが確認できず、論文には CC BY 4.0 とあるが、報道には記載がない。Phantom の公式コード、UMI の公式サイトの対応ロボット一覧、DexUMI の装置の価格も取れなかった。

研究の中身で足りないものもある。人の手の推定・切り出し・消去を1枚あたりどれだけの時間でできるかは、どの論文にも書かれていない。人の動きを小さなアームの届く範囲に縮める方法、遅いアームに合わせて時間を引き延ばす方法を検証した論文もない。人の軌道をロボットで再生して撮り直したデータと、撮り直さないデータを、数字で比べた査読付きの論文も見つからなかった（Armstrong のブログは数字を出していない）。PI の人からロボットへの移し替えが公開版の pi05_base で起きるかは、誰も報告していない。π*0.6 の「1回の繰り返しで約600回の試行」という数字は Armstrong のブログからで、論文では確かめていない。アトムの「30万時間」は記事の表記が乱れている。commissure・山善・アトムの価格と顧客は書かれていない。mechArm 270・myCobot・SO-101 の大きさのアームで、人のデータから VLA を学習して成功率を出した報告は、1件も見つからなかった。

## 出典

- UMI（RSS 2024・査読あり）: [arXiv PDF](https://arxiv.org/pdf/2402.10329)・[arXiv v3](https://arxiv.org/html/2402.10329v3)・[RSS 論文集](https://roboticsproceedings.org/rss20/p045.html)
- HiFi-UMI（査読なし）: [arXiv](https://arxiv.org/abs/2607.25895)・[alphaXiv 版](https://www.alphaxiv.org/abs/2607.25895.md)・[AI Weekly](https://aiweekly.co/alerts/simple-ais-hifi-umi-matches-teleop-with-robot-free-data-alone)
- UMI-FT（査読なし）: [arXiv](https://arxiv.org/html/2601.09988v1)
- MV-UMI（査読なし）: [arXiv](https://arxiv.org/html/2509.18757v1)
- AirExo-2（CoRL 2025・査読あり）: [arXiv](https://arxiv.org/abs/2503.03081v2)・[CoRL 論文一覧](https://mlanthology.org/corl/2025/fang2025corl-airexo2)
- DexUMI（CoRL 2025・査読あり）: [arXiv](https://arxiv.org/html/2505.21864v2)・[PMLR](https://proceedings.mlr.press/v305/xu25b.html)
- HOMIE（RSS 2025・査読あり）: [arXiv](https://arxiv.org/html/2502.13013v2)
- Phantom（CoRL 2025・査読あり）: [arXiv](https://arxiv.org/html/2503.00779v1)・[PMLR](https://proceedings.mlr.press/v305/lepert25a.html)
- Shadow（CoRL 2024・査読あり）: [arXiv](https://arxiv.org/html/2503.00774v1)
- EmbodiSwap（査読なし）: [arXiv](https://arxiv.org/html/2510.03706v1)
- RoboPaint（査読なし）: [arXiv](https://arxiv.org/html/2602.05325v2/)
- H2R-Grounder（査読なし）: [arXiv](https://arxiv.org/html/2512.09406v1)
- Armstrong Robotics（会社のブログ）: [Substack](https://armstrongrobotics.substack.com/p/fine-tuning-pi05-with-umi-the-promise)
- DemoDiffusion（査読なし）: [arXiv](https://arxiv.org/html/2506.20668v2)
- Dxtr の物の動きの移し替え（査読なし）: [arXiv](https://arxiv.org/html/2610.20351)
- MimicGen（CoRL 2023・査読あり）: [ar5iv](https://ar5iv.labs.arxiv.org/html/2310.17596)・[PMLR](https://proceedings.mlr.press/v229/mandlekar23a.html)
- Real2Render2Real（CoRL 2025・査読あり）: [arXiv](https://arxiv.org/html/2505.09601v1)・[PMLR](https://proceedings.mlr.press/v305/yu25a.html)
- RaC（査読なし）: [arXiv](https://arxiv.org/html/2509.07953v1)
- π*0.6 / RECAP（会社の研究・査読なし）: [arXiv](https://arxiv.org/html/2511.14759v2)
- EgoRecovery（査読なし）: [alphaXiv](https://www.alphaxiv.org/abs/2607.19745)
- PI 人からロボットへの移し替え（査読なし）: [arXiv PDF](https://arxiv.org/pdf/2512.22414)・[PI ブログ](https://pi.website/research/human_to_robot)
- EgoMimic（査読は未確認）: [arXiv](https://arxiv.org/pdf/2410.24221)
- EgoBridge（NeurIPS 2025・査読あり）: [arXiv](https://arxiv.org/html/2509.19626v1)
- MotionTrans（査読なし）: [arXiv](https://arxiv.org/html/2509.17759v1)
- EgoScale（査読なし）: [arXiv](https://arxiv.org/html/2602.16710)
- openpi の説明書（写し）: [Hugging Face](https://huggingface.co/s3y/openpi/blob/main/README.md)
- SO-101 での VLA 比較の批評: [HF Space](https://mcobzarenco-fontaine-blog.static.hf.space/papers/so101-vla-benchmark.html)
- 会社: [Dream Robotics](https://dreamrobotics.tech/)・[Sunday](https://www.sunday.ai/journal/no-robot-data)・[Generalist](https://generalistai.com/blog/nov-04-2025-GEN-0)・[The Robot Report（GEN-1）](https://www.therobotreport.com/generalist-introduces-gen-1-general-purpose-model-for-physical-ai/)・[Chestnut](https://www.humanoidsdaily.com/news/chestnut-aero-hand-umi-iros-2026)・[Reward AI](https://www.humanoidsdaily.com/news/reward-ai-exits-stealth-with-om-1-pitching-zero-shot-human-to-robot-manipulation)・[Build AI](https://www.humanoidsdaily.com/news/build-ai-scales-to-100-000-hours-as-data-scaling-becomes-robotics-new-frontier)・[Figure](https://www.figure.ai/news/project-go-big)・[Dream Labs](https://siliconangle.com/2026/10/19/dream-labs-raises-90m-to-help-build-more-intelligent-robots-with-simple-video-feeds/)・[Scale](https://scale.com/robotics)・[Encord](https://encord.com/data-collection/)・[Sensei](https://www.ycombinator.com/companies/sensei)
- 日本: [commissure（TechnoEdge）](https://www.techno-edge.net/release/prtimes2/20260828/24380.html)・[山善・J-HRTI（ITmedia AI+）](https://www.itmedia.co.jp/aiplus/article/2603/26/1260326096/)・[アトム（Business Insider Japan）](https://www.businessinsider.jp/article/2608-atom-ai-robot-data-factory-toyosu/)・[ジールス×タイミー（MONOist）](https://monoist.itmedia.co.jp/mn/articles/2608/28/news061.html)・[Diver-X（EE Times Japan）](https://eetimes.itmedia.co.jp/ee/articles/2606/24/news095.html)