ロボットアームの模倣学習、お手本は何本・どう集めるか ― π0.5 で50本を集め直して分かったこと
ロボットアームに物をつかませる模倣学習では、お手本の本数を増やすより、置き場所ごとに本数をそろえ、浅いつかみや止まっている時間の入ったお手本を外すほうが効いた。 小型アーム mechArm 270 で、Physical Intelligence の π0.5(パイレイテンゴ)に赤いブロックを白い箱へ入れる作業を覚えさせたとき、お手本は19本、30本、21本と変わり、最後に5か所×10本の50本へそろえた。その50本で一から学習すると、借りた GPU(Runpod の NVIDIA A40)で3,000ステップに6.2時間・約579円だった(LOG480)。
模倣学習(人がやって見せた動きをまねさせる学習)を始めると、最初に迷うのが、お手本を何本、どう集めるかです。ネットで調べると30本、50本といった数が出てきますが、実際に自分のアームで集めてみると、本数より中身で失敗しました。同じ所にばかり置いた19本ではブロックを見なくなり、浅くつかんだお手本が混ざるとブロックを落とすようになりました。
このページは、フィジカルAI研究室の記録から、お手本の集め方に関わる所だけを抜き出して並べ直したものです。集め方が変わったら、このページを書き直します。π0.5 の学習と実機で動かす手順の全体は、π0.5を個人で追加学習して動かす手順にまとめています。
このページで分かること。
- 模倣学習のお手本が何でできているか
- 本数より効いたこと(置き場所ごとの偏り)
- 外したほうがいいお手本と、その見分け方
- いまのお手本の集め方の手順と、1本あたりの時間
模倣学習のお手本とは:画像と関節の角度の組を、時刻の順に並べたもの
お手本1本は、ロボットが作業を1回やり通す間に録った、カメラの画像と関節の角度の組の並びだ。LeRobot などの道具では、1本をエピソードと呼ぶ。π0.5 のような VLA(画像と指示の言葉からロボットの動きを出すモデル)は、この組を見て、この画像のときに次の1秒でどう動くかを覚える。
ここで使ったお手本は、人がアームを動かして要所の姿勢を教え、アームにその動きを再生させながら、真上のカメラで録ったものだ(LOG352)。カメラに人の手が写らず、アームが同じ道すじを毎回なぞれる。
| 言葉 | このページでの意味 |
|---|---|
| お手本(エピソード) | 作業を1回やり通した記録。画像と関節の角度の組の並び |
| 置き場所 | ブロックを置く位置。位置1〜5 の5か所 |
| 浅いつかみ | ブロックが爪の奥まで入る前に閉じたつかみ |
| 追加学習(LoRA) | π0.5 の重みを固定したまま、小さな追加の重みだけを学習するやり方 |
本数より効いたこと:置き場所ごとの偏りをなくす
お手本の変わり方を並べると、本数を増やした回より、偏りを直した回で動きが変わった。
| お手本 | 中身 | 起きたこと | 記録 |
|---|---|---|---|
| 19本 | ブロックをほぼ同じ所に置いて録った | ブロックをどこに置いても、アームは毎回ほぼ同じ所へ手を伸ばした。ブロックを見ていなかった | LOG355 |
| 19本 | 置き場所を5か所に広げた。つかむ瞬間の土台の向きが −42〜−28° から −62〜+13° に広がった | 3か所に5回ずつ置いて15回中9回成功。位置ごとに5/5・3/5・1/5と差が出た | LOG401 |
| 30本 | 人が直した成功の記録を足した | 失敗の主な原因は、置き場所の数ではなく浅いつかみ。30本中7本が浅かった | LOG460 |
| 21本 | 浅い7本と、人の指が写った2本を外した | 半分以上が位置5で、位置1は0本だった | LOG479 |
| 50本 | 位置1〜5 を、深くつかんだお手本だけで10本ずつ | π0.5 の元の重みから学習し直した。位置1は3回とも人の直しなしでつかめた | LOG480・LOG484 |
学習の誤差(loss)は、どの回も同じように下がった。同じ所に置いた19本でも、5か所に広げた19本でも、3,000ステップで0.0047だった(LOG355)。loss はお手本をどれだけまねできたかの数字で、置き場所の違いを見分けて動けるかは教えてくれない。お手本の良し悪しは、実機で置き場所ごとに回数を数えて確かめるしかなかった。
置き場所ごとに同じ本数をそろえ、1か所ずつ撮りためずに順に回して撮る形は、Seeed Studio のロボットアームの講座でも、5か所×10本の50本として勧められている。
外したほうがいいお手本と、その見分け方
浅いつかみ:閉じて1秒後に、ブロックが爪先からはみ出していないか
π0.5 がブロックを落とす失敗をたどると、学習に使ったお手本30本のうち7本が、同じくらい浅くつかんでいた。そのうち4本は、π0.5 が自分で浅くつかんだまま運べてしまい、成功と判定されて学習データに入っていた(LOG460)。成功した記録でも、つかみ方が悪ければ、その癖を覚える。
いまは、爪を閉じて1秒後の上のカメラの画像で、ブロックが爪先の印から何ピクセルはみ出したかを測り、24ピクセル(約9mm)を超えたお手本を外している。撮った直後に自動で測り、外した数と理由は記録に残る。
爪がブロックに乗った回:下ろすのにかかった時間で見分ける
爪がブロックの上に乗ってしまった回は、ブロックの上からつかむ姿勢まで下ろす時間で見分けられた。普段は1.1秒で下りきるのに、乗った4本は7.9〜9.1秒かかり、肩の角度も目標の手前で止まっていた。爪と肩のサーボの電流では見分けられなかった(LOG463)。
下の図で、撮ったお手本を、つかみの深さと下ろす時間で使う・外すに分ける流れを見られます。
人の指が写った回
ブロックを置き直す手や指が画像に写ったお手本は、2本あったので外した(LOG460)。π0.5 は画像を見て動くので、作業のときにはない物が写ったお手本は混ぜないほうがいい。
お手本の中で止まっている時間
π0.5 は、お手本の中でアームが止まっていた時間まで覚えた。再生しながら録ったお手本は、姿勢に着いたかを確かめる間や、爪が落ち着くのを待つ間に何度も止まっていて、止まっている時間がお手本全体の40%あった。ブロックの真上では毎回1.5〜2秒止まっていた。学習したモデルで動かすと、腕はブロックのすぐ近くまで来て止まり、そのあと13回続けて、ほとんど動かない答えを返した。止まっている時間を詰めたお手本で学習し直すと、止まらなくなった(LOG358)。
お手本は、作業の手順だけでなく、録ったときの止まり方・つかみ方・写り込みまで、そのまま覚えられる。 だから採否は、成功したかだけでなく、中身で決める。
教えた姿勢そのものが悪いこともある
置き方を直しても浅いつかみが直らない置き場所があった。位置1と位置3は、手で教えたつかむ姿勢そのものが浅く、位置4は手前の爪がブロックの真上に来る向きだった。ゲームパッドで姿勢を教え直し、ブロックの上からは肩だけで下ろす形にすると、どれも深くつかめるようになった。教え直しは1か所あたり約3〜6分だった(LOG463・LOG479)。
1か所だけ形の違うお手本も、外れの元の候補になる。50本で学習したモデルは、位置2 だけ4回ともつかむ姿勢まで届かなかった。位置2 のお手本は、50本の中でただ1つ、肩が上限の88°に張り付き、肘を−34°まで曲げてつかむ形で、いちばん近い位置1 とも関節の差が合わせて46.5°あった(LOG484)。このアームは、肩を約88°より深く倒す命令を、エラーを出さずに捨てる(LOG352)。教える前に、アームの動ける範囲の端に寄った姿勢になっていないかを確かめたい。
上のカメラの傾きも疑ったが、録画の画像の傾きだけを変えて1,770回答えさせても、行き先は入れ替わらなかった。傾きはソフトで学習データの向きにそろえる形にしてある(LOG486)。
人が直した動きを、お手本に足す
実機で π0.5 が失敗しかけた所を人が直し、直した動きをお手本として足すやり方も試した。8回動かして成功した5回は、どれも人が同じ2か所を直していた。つかむ前に根元を+2〜4°回し、つかんだあとにひじを動かして持ち上げる直しだ(LOG417)。直しをゲームパッドの長押しにすると、1回の直しは中央の値で約13秒になり、キーを1回ずつ打っていたころの41〜51秒より短くなった(LOG450)。
直した記録をそのまま学習データにはできなかった。アームが動いている間の関節の角度が1.5〜3.6秒ずつ抜けていて、抜けたまま使うと1コマで最大28°腕が飛ぶ動きになるため、送った指令の道すじから角度を作り直した(LOG417)。直したお手本は、失敗の記録として覚えさせるためではなく、今あるお手本をさらに良くするために足す前提で使っている。
いまのお手本の集め方
- 置き場所を決め、マットに印を付ける(ここでは5か所)
- 置き場所ごとに、つかむ姿勢をゲームパッドで教える。肩の上限など、アームの動ける範囲の端に寄っていないかを見る
- 教えた動きをアームに再生させながら、上のカメラで画像と関節の角度、爪と肩のサーボの電流を録る
- 撮った直後に、つかみの深さ(閉じて1秒後のはみ出し)・下ろす時間・人の指の写り込みで採否を決める
- 1本目が浅ければ、置き方ではなく姿勢を疑い、その場で教え直す
- 置き場所ごとに使えるお手本を10本ずつそろえる(1か所に撮りためず、順に回して撮る)
- 止まっている時間を詰め、π0.5 の元の重みから学習する
| 項目 | 記録にある値 | 記録 |
|---|---|---|
| お手本1本を撮る時間 | 約1分40秒 | LOG463 |
2か所を撮る時間(教え直し2回を含む) | 約1時間 | LOG479 |
撮り終えてから学習データにまとめるまで | 7分 | LOG479 |
| 50本で一から学習 | A40 で3,000ステップ・6.2時間・約579円 | LOG480 |
| 直した記録を足して続きを学習 | 1,500ステップ・約3時間・約292〜313円 | LOG417・LOG450 |
まだ分かっていないこと
- 位置2 の外れが、お手本の形の違いから来ているのかは、まだ確かめている途中
- 何本あれば足りるかの下限は測っていない。50本より少ない本数で同じ結果になるかは比べていない
- 手で教えたお手本は、アームが動いた量の半分ほどが、実測の角度ではなく前後の実測を直線で結んで補った値だった(Log#36)。角度を読む間隔を詰める直しを進めている
- お手本以外の原因もある。アームの電源を12V・2A から12V・5A に替えると、つかんだブロックを落とさなくなった(LOG504)。お手本を疑う前に、機体の側も確かめたい
- これまでの実機の推論で、成否を判定できた92回のうち55回(59.8%)が成功している(π0.5を個人で追加学習して動かす手順)。どのお手本・どのモデルの回かで分けた比べは、まだ表にしていない
関連するページ
π0.5 を借りた GPU で学習し、実機で動かすまでの手順の全体です。
学習用の GPU を買うか借りるかは、実際に借りて学習させた費用をもとに、別のページにまとめています。
このページの更新
| 日付 | 変えたこと |
|---|---|
| 2026-11-15 | 公開 |