人のデモとロボットの腕のずれ

人のデモとロボットの腕のずれは、データの質の問題でも量の問題でもなく、人の体を基準に集めた動きを、形も関節の数も違うロボットの腕へ移すときに、どの動きが移せてどの動きが移せないかを事前に判定する手段がまだない問題である。

30秒要約

• ロボットを使わずに、人が手持ちの道具や手の映像でお手本を集める方法（UMI などの手持ち収集・人の一人称映像）が広がり、データの量は一気に増えた。
• しかし人の手首は自由に動く一方、ロボットの腕には関節の可動域・特異姿勢（腕が伸びきるなどして動けなくなる姿勢）・到達範囲の制約がある。人が自然にできた動きの一部は、腕によっては再現できない。
• 最初の一歩は、集めた動きを「どの腕なら再現できるか」で検査してから学習に回すこと。腕の側の設計も、学習させたい動きから逆算して決める。

実装判断サマリー

課題の定義（扱う／扱わない）

• 扱う：人の手・手持ちの道具・人の映像で集めた動きを、ロボットの腕へ移すときに生じる再現不能・再現の質の低下。およびそれを事前に判定する手段の不在。
• 扱わない：お手本そのもののばらつき・失敗データの扱い（模倣学習のデータ品質で扱う）。データの量と収集コスト（実機データの圧倒的不足で扱う）。
• 似て非なる：Sim2Realギャップは「仮想空間と実機」のずれ、本カードは「人の体とロボットの体」のずれ。動作のポータビリティ不在はロボットどうしの間の移し替え、本カードはその手前の人からロボットへの移し替えを扱う。

何が起きているか（データ）

• 2024年に発表された UMI（スタンフォード大学ほか）は、ロボットのグリッパーと同じ形の手持ち道具にカメラを付け、ロボットなしでお手本を集める方法を示した。以後、同じ考え方の収集手段が相次いでいる。
• 2026年には、手持ち収集の規模が大きく伸びた。日本の AI ロボット協会（AIRoA）・トヨタ自動車・東京大学などによる YUBI は、指で直接つまむ形の手持ち道具で約8,400時間・119作業のデータを集め、同じ方策を複数メーカーの腕で動かしたと報告している（CoRL 2026 採択）。
• 人の一人称映像を事前学習に使う研究も進む。北京大学などの HumanScale（2026年6月）は、5,000時間の人の一人称映像で事前学習したモデルが、同じ時間のロボット実機データで事前学習したモデルを、未知の作業で上回ったと報告した（著者自身は予備的な結果としている）。
• 一方で、腕へ移すときのずれも数字で見え始めた。Mu Robotics の HandUMI（2026年8月）は、手で集めた動きを複数の腕で再生して確かめる仕組みを公開し、オープンソースの腕 OpenArm への再生では位置の誤差が約3〜5cm、3件中1件しか基準を満たさなかったと示している（シミュレーション上の確認）。

なぜ先送りされてきたか

• データ不足が最大の壁だったため、まず「安く大量に集める」ことに研究が集中し、移し替えの可否は後回しにされた。
• 手持ち収集は、ロボットと同じグリッパーと同じカメラ位置を使うため、ずれは小さいと見なされやすかった。実際にずれるのはグリッパーではなく、その手前の腕の部分である。
• ずれは学習済みの方策を実機で動かしたときに「失敗」として初めて表に出るため、データのせいか、モデルのせいか、腕のせいかを切り分けにくかった。
• 腕を選ぶ基準が価格・可搬重量・到達距離に偏り、「人の動きをどれだけ再現できるか」という基準が存在しなかった。

原因構造

• 体の違い：人の腕・手首は肩から指先まで冗長な自由度を持つが、多くのロボットの腕は自由度が少なく、可動域と特異姿勢の制約がある。
• 記録の偏り：手持ち収集はグリッパーの位置と向きだけを記録し、腕の姿勢・力・関節の負荷は記録しない。腕で再現できるかは、再生してみるまで分からない。
• 評価の欠落：お手本ごとに「どの腕で再現できるか」を検査する標準的な手順がなく、再現できない動きが学習データに混ざったまま使われる。
• これらが重なり、データを増やしても実機の成功率が伸びない→原因がデータ側に求められる→さらにデータを集める、という空回りが起きる。

誰が、どう困るか（影響）

• 研究者・開発者：集めたデータの一部が使う腕で再現できず、学習の結果が伸びない原因を特定しにくい。
• ロボットメーカー：自社の腕が、広く集められているお手本の動きに合わないと、学習ベースの用途で選ばれにくくなる。
• 個人開発者・小規模な研究室：安価な腕は自由度や可動域が小さいことが多く、公開データをそのまま使えない場面が増える。
• 現場・ユーザー企業：デモでは動いた作業が、自社の腕では再現できない。

放置するとどうなるか（時間軸）

• 数年：人の手で集めたデータの量は増え続けるが、腕ごとに使えるデータの割合がばらつき、成果の比較も再現も難しくなる。
• 中期（2030年代）：人の動きに合う腕の形が事実上の標準になり、それに合わない腕は学習ベースの用途から外れていく。
• 長期（2040年前後）：腕の形の選択肢が狭まる一方で、作業の側を腕に合わせて作り直すことになり、人の動きを手本にする利点が薄れる。

解決の方向性

• 再現可能性の検査：集めたお手本を、学習の前に対象の腕で再生（シミュレーション含む）し、再現できない動きを分けて扱う。
• 腕側の設計：学習させたい動きの集まりから逆算して、腕の自由度・関節配置・可動域を決める。
• 記録の拡張：グリッパーの位置だけでなく、腕の姿勢や関節の力も記録できる収集手段（外骨格型など）を使う。
• 腕に依存しない表し方：動きをグリッパーの軌跡やカメラ基準の変位で表し、腕ごとに逆運動学で解く。ただし解けない動きは残る。

選択肢の比較

主体別アクション

メーカー・技術提供者

• レバー：人の動きの再現性を設計基準に加える、腕のモデル（関節・可動域）を公開する。
• 変えるもの：価格・可搬重量中心の設計から、学習させたい動きに合う設計へ。
• 制約：既存製品との互換、量産コスト。
• 成果指標：公開データのお手本のうち、自社の腕で再現できる割合。

研究者・OSSコミュニティ

• レバー：お手本の再現可能性を検査する道具、腕ごとの再現率の公開、ずれの評価基準。
• 変えるもの：「データを増やせば伸びる」前提から、ずれを測ってから学習する手順へ。
• 制約：実機での検証の手間。
• 成果指標：データセットに腕ごとの再現率が付いている割合。

個人開発者・現場

• レバー：使う腕で公開データを再生して確かめる、再現できない動きを記録して公開する。
• 変えるもの：公開データをそのまま使うことから、自分の腕で検査してから使うことへ。
• 制約：腕のモデル化と再生の手間。
• 成果指標：自分の腕で再現できたお手本の割合。

国

• レバー：データセットの公開時に、再現できた腕の情報を付ける慣行を支援する。
• 変えるもの：データの量だけを評価する支援から、使える割合も評価する支援へ。
• 制約：評価手順の標準化が先に要る。
• 成果指標：再現情報付きで公開された国内データセットの数。

争点

• 学習側か腕側か：ずれを学習の工夫で吸収するか、腕の設計で減らすか。
• 人の動きを基準にするか：人の動きを手本にし続けるか、ロボットに合った動きを別に集めるか。
• 記録の範囲：手軽さを保ってグリッパーだけを記録するか、腕の姿勢や力まで記録するか。

反対論・トレードオフ

• 「十分に大きいモデルと少量の実機データがあれば、ずれは学習で吸収できる」（最も強い反対）：人の映像で事前学習し、少量のロボット実機データで事後学習すれば、腕の違いは自然に埋まるという主張。実際に人の映像による事前学習が実機データを上回った報告もある。
  • 応答：事前学習で得られるのは「何をすべきか」の理解であり、腕が物理的に到達できない姿勢や、特異姿勢付近での不安定さは学習では解消しない。吸収できるずれと、腕の構造上どうにもならないずれを分けて測ることが先に要る。
• 公平性：人の動きに合う腕を持てる組織ほど公開データを活かせ、安価な腕を使う側との差が広がる。
• 副作用：再現できない動きを捨てすぎると、腕が苦手な作業そのものが学習の対象から消える。

失敗のシナリオ（プレモーテム）

• 検査なしで大量のデータを学習に回す：実機の失敗の原因がデータ・モデル・腕のどれか分からないまま、データ集めだけが続く。
• 腕の設計を特定の収集手段に合わせすぎる：収集手段が変わると、腕が合わなくなる。
• シミュレーション上の再現だけで判断する：実機では力や摩擦の違いで再現できない（Sim2Realギャップ参照）。

KPI

• 結果指標：使う腕で再現できたお手本の割合、学習済み方策の実機での成功率。
• 中間指標：再現可能性の検査を通したデータの割合、腕のモデルを公開しているメーカーの数。
• 副作用指標：検査で除外されたお手本の割合と、除外された作業の種類。

未解決の問い

• 人の動きのうち、学習で吸収できるずれと、腕の構造上再現できないずれを、どう切り分けて測るか。
• 学習させたい作業の集まりから、必要な腕の自由度・関節配置をどう決めるか。
• 手軽さを保ったまま、腕の姿勢や力をどこまで記録できるか。
• 自由度の少ない安価な腕で、公開データをどこまで使えるか。

すでにある良い事例

• UMI（スタンフォード大学ほか、2024）：ロボットと同じグリッパー・同じカメラ位置の手持ち道具で、ロボットなしにお手本を集める方法を示した。
• HandUMI（Mu Robotics、2026）：収集時には腕を仮定せず記録し、再生時に腕ごとの設定（関節・可動域・逆運動学）を当てて、複数の腕で再現できるかを事前に確かめる仕組みを公開した。
• Universal Manipulation Exoskeleton（Ant Group・スタンフォード大学、2026）：人の腕の関節構成に合わせた外骨格で、腕の姿勢と関節の力も記録し、力が要る作業で手持ち収集より高い成功率を報告した。
• Ego2Robot（アリババ Qwen チームほか、2026）：人の映像の手の動きをグリッパーの軌跡に変換し、15種類の腕それぞれで逆運動学的に到達できる配置を探してからロボットのデータに変換している。

10年後の望ましい状態

• 公開データセットに、お手本ごとに「どの腕で再現できたか」が付いている。
• 腕の設計が、学習させたい動きの集まりから逆算して行われている。
• 人の動きを手本にする収集と、腕の制約を前提にした検査が、ひとつの手順として定着している。

出典・関連課題・更新履歴

• 出典：Chi et al.「Universal Manipulation Interface」（RSS 2024）、YUBI（AIRoA ほか、arXiv 2606.10244・CoRL 2026）、HumanScale（Ma et al., arXiv 2606.20521）、HandUMI（Mu Robotics、2026年8月）、Universal Manipulation Exoskeleton（Liang, Xu et al., arXiv 2606.14218）、Ego2Robot（Wang et al., arXiv 2608.02580）。
• 関連課題：模倣学習のデータ品質 / 実機データの圧倒的不足 / Sim2Realギャップ / 動作のポータビリティ不在 / 現場知のデータ化
• 更新履歴：2026-10-17 初版（draft）／2026-10-23 出典を確かめられない SNS 上の試算を外して公開