# 遠隔操作の代わりに、人が身につけた道具で学習データを集める流れ（Dream Robotics の投稿から）

- 調べた日：2026-10-27
- きっかけ：エイイチが共有した X の投稿のスクリーンショット5枚（Dream Robotics の Nathan Kau の投稿と返信、同じ画面にあった Miki S-Y・Chris Paxton の投稿）
- 方針：会社の公式ページ・論文を開いて確かめたことだけを書く。会社の自己申告は「会社の主張」と書き分ける
- 換算：1ドル＝150円で計算（円は目安）
- 注意：X の投稿ページはサイト側が読み取りを拒否したため開けなかった。投稿の中身はスクリーンショット（Grok の日本語訳）から読んだ

---

## ① 要点

1. Dream Robotics の主張は「ロボットを人が遠くから操縦してお手本を集める（遠隔操作）のは、人より約5倍遅く、1時間あたり1.5万円以上かかる。人が背負う・かぶる・はめるセンサー付きの道具で、普段の仕事中にデータを集めれば、安いうえに遠隔操作より良いデータになる」。数字の出典は投稿に書かれていない
2. 新しい装着具 DreamCatcher01 は、背負う約450gの装置に、指ごとの触覚センサー付き手袋・LiDAR（レーザーで周りの形を測るセンサー）・4K カメラを入れて6万円未満（会社の主張）。会社の本業は倉庫で棚から商品を取る双腕ロボット DreamOne で、ロボットを1時間750円で貸す形（会社の主張）
3. 同じ方向の会社・研究が2026年に続いている。Sunday（手袋とロボットの手を同じ形・同じセンサー配置にして、ロボットのデータなしで学習）、HiFi-UMI（手持ちの道具で2万時間を集め、遠隔操作と同等の成功率）、UMI-FT（手持ちの道具の指ごとに力センサーを付けた）
4. 一方で、安いアームでは人のデータだけだとうまくいかなかった報告もある（Armstrong Robotics）。つかむのはできるが置くのを失敗する。人が理想の動きを見せても、実際のアームは指令どおりに動かない（遅れる・ずれる）ため
5. 同じ画面の Miki S-Y の投稿は「失敗から立て直すお手本（リカバリー実演）を足すのと、成功したお手本を増やすのと、π0.5 の成功率をどちらが上げるか」。元の論文は特定できなかった。近い研究（RECALL）では、立て直しのお手本は効率がよいが、それだけで学習し直すと前にできていたことを忘れる、と書かれている

---

## ② Dream Robotics（投稿の会社）

| 項目 | 内容 | 出典 |
|---|---|---|
| 何の会社か | ネット通販の倉庫で、商品を棚から取る・棚に補充するロボット DreamOne を作る。双腕・触覚のある手・上下に伸びる柱・全方向に動く台車 | 公式サイト |
| データ集めの道具 | DreamCatcher。働く人が身につけ、本人目線の広角映像・手と体の動き・指ごとに力を測る手袋を記録 | 公式サイト |
| 新型 DreamCatcher01 | 背負う装置。触覚センサー・LiDAR（特許出願中）・4K HDR カメラ。約450g、6万円未満。独自のコンピュータと触覚センサーとカメラを自作して実現 | 投稿（スクリーンショット） |
| 料金 | ロボット1時間750円。ロボット1台で月36万円の人件費削減、20人の拠点で年1.5億円超の削減 | 公式サイト（会社の主張） |
| データ量 | 数千時間を記録済み、目標100万時間 | 公式サイト（会社の主張） |
| 創業者 | Nathan Kau（CEO。Stanford Pupper の作者、Google X・Toyota でロボットの AI）、Gabrael Levine（CTO。Tesla Optimus で器用な手の強化学習）、Alex Hattori（MIT の Mini Cheetah・人型ロボット） | 公式サイト |
| 顧客・資金 | 名前の出た顧客なし（初期の協力先が少数）。資金調達の記載なし | 公式サイト |

投稿の比較動画では、左が遠隔操作のロボット、右が装置を背負った人が同じ棚から商品を取っている。ここで言う「良いデータ」の根拠となる数字（成功率の比較など）は、投稿にも公式サイトにも見当たらない。

投稿の考え方の芯は「人の手を、ロボットの手と同じ形・同じ当たり方・同じセンサーの手袋やミットに変えて、人をロボットそっくりにする」こと。人の動画をそのまま使う方法（頭に付けたカメラの映像だけ）とは違う、と本人が書いている。

---

## ③ 同じ方向の会社・研究

| 名前 | 何をしたか | 数字 | 出典 |
|---|---|---|---|
| Sunday（家庭用ロボット Memo） | 手袋とロボットの手を同じ形・同じセンサー配置で作り、手の部分の差をなくした。腕の長さ・身長・見た目の差は変換で消す。遠隔操作のデータを使わずに基盤モデル ACT-1 を学習 | 手袋のデータをロボットのデータに変換できた割合90%（会社の主張）。費用やデータ量の数字はなし | Sunday 公式ブログ |
| HiFi-UMI（Simple AI） | 頭のカメラ2つ・手ごとの広角カメラ・手のひら全体でにぎる道具で、ロボットなしにデータを集めた。そのデータだけで実機の方策（ロボットの動かし方を決める学習済みモデル）を仕上げた | 手先の位置の誤差 約3mm。手持ちの道具のデータと遠隔操作のデータで学習した成功率の差は −2.5〜+3.1ポイント（π0.5 では +3.1）。ただし手持ちは1作業3,200本、遠隔操作は約300本で、本数をそろえた比較ではない。集めたのは2万時間、うち2,000時間を公開 | arXiv 2607.25895（査読なし） |
| UMI-FT（Stanford・Shuran Song ら） | 手持ちの道具の指それぞれに6方向の力センサーを付け、力の加減と柔らかさまで学習 | ホワイトボード拭き・ズッキーニの串刺し・電球のはめ込みで、力を測らない方式より良かった（数字はページになし）。設計とコードは公開 | arXiv 2601.09988（査読なし） |

Chris Paxton の投稿（「力の情報＋手持ちの道具を大量に使った学習が、今の汎用ロボットより良いと思うか」という趣旨）も、この流れの話。具体的にどの論文を指しているかは、スクリーンショットの範囲では読み取れなかった。

---

## ④ うまくいかなかった報告：Armstrong Robotics

業務用の食器洗い（汚れた皿をケースから取り、ラックに立てる）で、π0.5 を手持ちの道具のデータで学習した記録。

- 比べたもの：遠隔操作と手持ちの道具で、それぞれ皿のお手本400本（各約3時間）。同じモデル・同じ設定
- 結果：手持ちの道具のデータだけの方策は、皿を取るのは安定したが、ラックに置くのを大きく失敗した（2枚重ねて置く・スロットを飛ばす）。成功率の数字は書かれていない
- 理由として挙げていること
  1. 部屋に置いたカメラに、人の腕が映っている。本番ではロボットの腕が映るので、見た目が違う
  2. 人のお手本は理想の動きなので、アームの遅れや、持つ物の重さで生じるずれを方策が学べない（関節で5〜10度ずれた。指令を強めると手先のずれは最大約1cmまで減ったが、動きががたついた）
  3. 置くときに、手首のカメラからラックの突起が見えなくなる
- 結論：安くて精度の低いアームでは、手持ちの道具のデータだけだと壊れやすい。遠隔操作のデータを少し足す・実機で試して学ぶ・ずれを直す制御を間に入れる、のどれかが要る

---

## ⑤ 立て直しのお手本（Miki S-Y の投稿）

- 投稿：π0.5 を2つの実機の作業で学習し直し、「失敗から立て直すお手本を足す方が、成功したお手本を足すより成功率を効率よく上げるか」を調べた、というスレッドの1つ目。元の論文・ブログは検索で特定できなかった
- 近い研究 RECALL（Karli・Fitzgerald、2026-06）：方策が自信のない場面で立て直しのお手本を集めると、成功例を受け身で増やすより効率がよい。ただし立て直しのお手本だけで学習し直すと、前にできていたことを忘れる。前のお手本を混ぜると忘れにくいが、新しいことを覚える速さとの取り合いになる

---

## ⑥ 見出しの主張の読み方

- 「遠隔操作より良いデータ」は、本数をそろえた比較で示された例が見当たらない。HiFi-UMI も手持ち3,200本対遠隔操作300本。言えるのは「同じ費用・同じ時間で、ずっと多く集められる」まで
- 人のデータが効くのは、(a) 人の手の道具がロボットの手と同じ形をしている、(b) アームが指令どおりに動く精度を持っている、(c) カメラに映る人の腕とロボットの腕の差を消している、の3つがそろうとき。Dream Robotics も Sunday も、(a) を手袋の作りで解いている
- 5倍遅い・1時間1.5万円以上、という遠隔操作の数字は、投稿の中で出典がない

---

## ⑦ Pixels to Motors との関係

1. mechArm のお手本集めで困っているのは「ブロックの位置のばらつきを作れない」こと。いまは要所の姿勢を手で教えて再生している（LOG349）。手持ちの道具で集める方法なら、ブロックを置き直して人がつかみに行くだけで位置のばらつきが作れる。iPhone は ARKit（iPhone が自分の位置と向きを測る仕組み）で手先の位置を記録でき、カメラも兼ねる（Phone2Act の調査メモと同じ道具立て）
2. ただし Armstrong の結果は、mechArm にそのまま当てはまる。mechArm は安いアームで、指令どおりに届かないことがある。人のお手本の手先の位置を、FK テーブル（関節角と手先の位置の対応表・150万点）で「mechArm が実際に届く位置か」を一度ふるいにかけてから使う、という手順が要る
3. 手持ちの道具の先を mechArm のグリッパーと同じ形で3Dプリントすれば、「人をロボットそっくりにする」の最小版になる。これを手順ごと公開できれば、再現可能な環境の候補になる
4. 立て直しのお手本はいまの再生の仕組みですぐ試せる。わざとずらした位置から始めて、つかみ直すお手本を何本か足し、π0.5 の成功率が同じ本数の成功例を足したときと比べてどう変わるかを測る。前のお手本も混ぜて学習する
5. 事業の見方：Dream Robotics の装置は「働く人が仕事をしながら身につけていられる」ことが前提で、重さ約450g・直感的に使えることを売りにしている。データを集める道具を、現場の人が嫌がらずに使える形にするのは、使う人の体験の設計そのもの。サービスロボットの現場の調査とつながる

---

## 出典

- [Dream Robotics 公式サイト](https://dreamrobotics.tech/)
- [Sunday 公式ブログ（ロボットのデータなしで学習）](https://www.sunday.ai/journal/no-robot-data)
- [HiFi-UMI（arXiv 2607.25895）](https://arxiv.org/pdf/2607.25895)
- [UMI-FT（arXiv 2601.09988）](https://arxiv.org/abs/2601.09988v1)
- [Armstrong Robotics：手持ちの道具のデータで π0.5 を学習した記録](https://armstrongrobotics.substack.com/p/fine-tuning-pi05-with-umi-the-promise)
- [RECALL（arXiv 2606.23617）](https://arxiv.org/abs/2606.23617v1)
- 元の投稿：https://x.com/nathankau/status/2114748894290624684 （読み取り不可・スクリーンショットで確認）