フィジカルAI研究室を作る Log#40 | FAIRINO へ向けて、SO-101 は模倣学習の練習台に
AIで読む ChatGPT・Claude などで、この記事に質問できます expand_more
ロボットアーム SO-101 は、いずれ現場向けのシステムに使う協働ロボット FAIRINO までの練習台として、人がリーダーアームで動かしたお手本を Physical Intelligence の π0.5 に学ばせる形で使う。小型ロボットアーム mechArm 270 で作ってきた FK 表や補正記憶は持ち込まず、お手本の選び方・成否の判定・由来の記録といった進め方を引き継ぐ。 SO-101 が届く前に、実機を動かさずに決めたことの記録です。
この整理で、次のことが変わります。
- お手本に、人の動きのばらつきが入るようになる:mechArm 270 では手で教えた要所を再生していたので、同じ道すじのお手本しか撮れなかった。SO-101 ではリーダーアームを人が動かし、その動きがそのままお手本になる
- 机側のカメラの位置出しがいらなくなる:普段使いの iPhone を毎回付け外ししていたのをやめ、使っていなかった USB カメラを固定で付ける。位置出しにかかっていた時間は測っていないので、届いてから位置がずれない日が何日続くかで確かめる
- SO-101 で決めた記録の形と機体ごとの設定を、FAIRINO でそのまま使えるようにする:機体の名前・カメラの構成・モデルの版を最初から記録に入れておく
- 費用はかかっていない:この回は決めごとだけで、実機もクラウドの GPU も使っていない
mechArm 270 で π0.5 のお手本を撮るとき、困っていたのは、ブロックの置き場所を変えたお手本を作りにくいことでした。手で直接アームを動かして教えるとカメラに手が写るので、要所の姿勢だけを手で教えて再生する形(LOG349)で撮ってきました。これだと、つかむ動きはきれいにそろう一方、人ごとのくせや、少しずつ違う道すじは入りません。そこで、人が動かす操作用の腕(リーダーアーム)が付いた SO-101 を買うことにしました。
| 決めたこと | なぜ | どうする |
|---|---|---|
| SO-101 の位置づけ | いずれ FAIRINO でシステムを作る見込みが高い | FAIRINO までの練習台。SO-101 でやることは、FAIRINO に持っていけるかで選ぶ |
| 打ち出す軸 | フィジカルAI の活用が本題 | 動きをプログラムで書かず、お手本から学ばせる。従来の制御は安全の柵だけに使う |
| 学習のやり方 | リーダーアームと手首カメラが増える | リーダーアームの模倣学習が中心。リーダーは失敗を人が引き取って直すのにも使う |
| 学習させるモデル | FAIRINO でも π0.5(その頃は次の版かもしれない)を使う | SO-101 も π0.5。モデルが替わっても困らないよう、データ・設定・学習の流れを分ける |
| mechArm 270 の道具 | 動かし方の前提が違う | FK 表・補正記憶は使わない。mechArm の記録は、学習と比べる相手にする |
| 机側のカメラ | カメラをずっと固定したい | iPhone をやめ、InnoMaker の USB カメラ(720p・120°)を固定で使う |
| 練習させる仕事 | 学習が活きるのはばらつきの大きい所 | ブロックの仕事で mechArm と比べたあと、形のそろわない硬い物の取り出しへ |
GPU を買うか借りるかの判断は、Runpod で実際に借りて学習させた費用をもとに、別のページにまとめています。SO-101 のお手本も、同じ借り方で π0.5 に学ばせる予定です。
導入比較ガイドロボットAIの学習用GPU、買うか借りるか実際に借りて学習させた費用と、損益分岐の計算機で決められますarrow_forward作業ログ ― SO-101 が届く前に、引き継ぐものと捨てるものを決めた
この回は、SO-101 が届いたらまず何をするかを相談しながら整理した記録です。実機の操作・コード・ターミナルの出力はありません。決めたことには、相談の中で出たエイイチの発言をそのまま添えています。この回に書く効果は、どれもまだ測っていない見込みです。届いてから何の数字で確かめるかを、それぞれに書いています。
SO-101 と LeRobot
SO-101 は、TheRobotStudio と Hugging Face が作った、6軸(腕の5関節と爪)の小型ロボットアームです。部品と設計図が公開されていて、操作用の腕(リーダーアーム)と、その動きをまねする腕(フォロワーアーム)を組で使います。動かすソフトは Hugging Face の LeRobot で、お手本の記録・学習・推論までがそろっています。
| 言葉 | この記事での意味 |
|---|---|
| リーダーアーム | 人が手で動かす腕。モーターは力を出さず、関節の角度を読むだけ |
| フォロワーアーム | リーダーと同じ角度に動く腕。学習したあとは、モデルがこの腕を動かす |
| 手首カメラ | フォロワーの爪の近くに付けるカメラ。爪と物の近さが見える |
| お手本(デモ) | 人がリーダーで動かした1回分の、関節の角度と映像の記録 |
| LeRobot の形式 | お手本を入れる決まった形。π0.5 の学習もこの形式を読む |
買うのは、秋月電子の SO-101 の Pro版キット(131228)と 3D プリントの部品(131222。手首カメラの台座が入っている)、それに Seeed の手首カメラ(RGB USB Camera 100°・720P)です。机側のカメラは、あとの節のとおり USB カメラにします。
FAIRINO
FAIRINO は、中国の FAIR Innovation が作る協働ロボットです(ミスミの FAIRINO のページ)。協働ロボットは、柵で囲わずに人のそばで使うことを前提に、ぶつかったら止まる仕組みを持つ産業用ロボットのことです。たとえば FR5 は6軸で、持てる重さは 5kg、腕の届く距離は 922mm です(RoboDK の FR5 のページ)。FR3 と FR5 を、自分でも使ってみたいアームの候補にしています。まだ買っていません。
SO-101 の位置づけは、FAIRINO までの練習台
相談の途中で、エイイチから SO-101 の位置づけが出ました。
最終的にはFAIRINOを使ってロボットアームシステムを作る可能性が高いです。SO101はそこまでの間で行う学習的位置づけです。
これで、SO-101 で何をするかの選び方がはっきりしました。SO-101 でやることは全部、FAIRINO に持っていけるかで選びます。物の大きさや重さは違っても、手順の数・例外の出方・人に渡す場面を同じにしておけば、学んだことは FAIRINO に移ります。
mechArm 270 との違いは、大きく2つです。リーダーアームが増えることと、手首カメラが増えることです。
打ち出すのは産業用ロボットの流儀ではなく、学習
フィジカルAI活用がメインなので、産業用ロボットのアプローチがメインではなくニューラルネットワークを使った学習がメインで打ち出したいです。
FAIRINO は産業用の協働ロボットですが、使い方は、座標を教えて動きを書く産業用ロボットの流儀にしません。学習したモデルが関節の角度を出して動かします。従来の制御で残すのは、関節の範囲・速さの上限・ぶつかったら止まる仕組みといった安全の柵だけです。
学習で打ち出すなら、示すべきは動きの精度より、次の3つの数字です。現場で使い続けられるかどうかは、3つ目の「失敗から戻す1周」をどれだけ安く速く回せるかで決まる、と考えています。
| 測る数字 | 何を見るか |
|---|---|
| 新しい仕事への対応の速さ | お手本何本・何時間で、使える成功率に届くか |
| ばらつきへの強さ | 置き場所・物の形・明るさが変わっても動くか |
| 失敗から戻す1周の時間 | 失敗 → 人が直す → 学習し直す → 現場に戻す、にかかる時間 |
- ねらい:学習を選ぶ理由を、精度の話ではなく、仕事が変わったときと失敗したときの手間の話で示す
- 変わったこと:SO-101 の記録で、お手本の本数と時間、成功率、直しの1周の時間を、最初から数える
- 見込める効果:FAIRINO を現場に出すとき、新しい仕事にどれだけで対応できるかを、自分の実測で言えるようになる(まだ見込み。SO-101 の記録で確かめる)
リーダーアームの役目は、お手本集めと失敗の引き取りの2つ
リーダーアームを使う模倣学習(人が動かしたお手本をまねして動き方を覚えさせる学習)が、SO-101 の中心になります。リーダーアームの役目は2つあります。
1つ目は、お手本を集めることです。人がリーダーを動かすと、フォロワーが同じ動きをして、そのときの関節の角度と手首・机側の映像がそのまま記録されます。mechArm 270 で要所を教えて再生していたやり方と違い、人の動きのばらつきがそのまま入ります。
2つ目は、失敗を人が引き取って直すことです。学習したモデルで動かしている途中に失敗しそうになったら、人がリーダーで引き取って直し、直した区間をお手本に足します。mechArm 270 でゲームパッドを使ってやろうとしていた、失敗した区間の巻き戻しと補正(LOG419)を、リーダーでやる形です。
1つ気をつけることがあります。リーダーアームは力を出さないので、フォロワーの今の姿勢に人が合わせてからでないと、引き取った瞬間にフォロワーが跳ねます。引き取る手順(一度止める → リーダーを今の姿勢に合わせる → つなぐ)を、最初に決めておきます。
SO-101 で測っておきたいのは、次の3つです。どれも、現場でお手本を集めるときにそのまま効く数字です。
- お手本1本に人が何分かかるか
- 人によって、お手本の質がどれだけばらつくか
- 失敗した区間をリーダーで直す流れが、ゲームパッドより速いか
FAIRINO にも、お手本を集める操作の道具が別に必要になります。SO-101 で分かった「どんな操作の道具なら、質の良いお手本が速く集まるか」が、FAIRINO 用の道具を選ぶ基準になります。
学習させるモデルは π0.5(FAIRINO でも使う)
π0.5のベースはFAIRINOでも使うので(もしかしたらその時にはπ1.0とか1.5とかかもだけど)SO101でも使いたいですね
π0.5(パイレイテンゴ)は、Physical Intelligence が公開しているロボット用の AI のモデルです。カメラの画像と指示の言葉を受け取り、次の関節の動きを出します。mechArm 270 では、公開のコード openpi で、Runpod の GPU を借りて学習させてきました。SO-101 でも同じ流れに乗せれば、学習の勘と手順がそのまま FAIRINO に移ります。
モデルが次の版に替わっても困らないよう、3つを分けておきます。
| 分けるもの | どうする |
|---|---|
| お手本の形 | LeRobot の形式で持つ。openpi はこの形式を読むので、モデルが替わってもお手本は作り直さずに使える |
| 機体ごとの設定 | 関節の数・カメラの名前と並び・正規化の値(データの大きさをそろえる数)は機体ごとに違う。mechArm の設定は残し、SO-101 用を足す。FAIRINO のときもまた1つ足す。正規化の値を機体の間で流用しない |
| 学習の流れ | 学習のスクリプトと由来の記録(どのモデルのどの版から、どのお手本で学習したか)に、モデルの名前と版を必ず入れる。新しい版が出たら、同じお手本で旧版と新版を比べる |
π0.5 は、カメラの画像を 224×224 ほどに縮めてから使います(SO-101 のお手本で π0.5 を学習した公開のモデルの例)。カメラの画質の話は、あとの節で使います。
比べ役として、LeRobot に入っている ACT(ALOHA の研究で出た、少ないお手本で学べる軽いモデル)も使えます。ACT は、お手本の集め方が怪しいときに切り分ける予備にとどめます。強化学習(試行錯誤で報酬を増やす学習)は、模倣学習で成功と失敗の形が見えるまで入れません。
mechArm 270 の FK 表・補正記憶・Unity は、SO-101 では使わない
mechArm 270 では、Unity と組み合わせて作った FK 表(関節の角度の組み合わせごとに、爪先がどこへ行くかを総当たりで計算した150万点を超える表)と、補正記憶(置き場所ごとの狙いのずれを覚えて足す仕組み)を使ってきました。SO-101 でも使うかを考えました。
mechArm 270 で必要だったのは、カメラでブロックの位置を出し、その位置に届く関節の角度を自分で求める作りだったからです。本体の座標の命令(send_coords)が場所によって不安定で使えなかったので、FK 表を作り、残ったずれを補正記憶で埋めていました。人が設計した動きの精度を、外から支える道具です。
SO-101 では、リーダーアームで人が動かした関節の角度がそのままお手本になり、学習したモデルが画像から次の関節の角度を直接出します。位置から関節の角度を求める段がないので、FK 表も補正記憶も出番がありません。ずれは、お手本と、直したお手本で吸収します。
| mechArm 270 の道具 | SO-101 でどうなるか |
|---|---|
| 機体の定数 | 小さく残る。関節の範囲、HOME の姿勢、爪の開閉の値、校正のファイル。SO-101 用に別のファイルに置く(mechArm の値と混ぜない) |
| FK 表(150万点超) | 使わない。爪先の位置が要るときは、公開されている機体の形のデータ(URDF)からその場で計算する。使い道は記録と評価(つかんだとき爪先がどこにあったか)だけ |
| 補正記憶 | 動きの補正には使わない。どの置き場所で失敗が多いかの地図として、評価の側に残す |
| Unity | 動かすための計算からは外れる。記録したお手本や推論を3Dで見返す、動ける範囲を確かめる役に変わる。合成データは、実機で回してからの順番のまま |
FAIRINO も同じ考え方で行けると見ています。産業用の協働ロボットはメーカーの制御が座標の命令をきちんと扱うので、mechArm 270 のように表を作って本体の弱さを補う必要は、まず出ないはずです。これは届いてから確かめます。
mechArm 270 の記録は、学習と比べる相手になる
mechArm 270 で作ってきた FK 表・補正記憶・視覚サーボ(カメラで見ながら位置を合わせ込む仕組み)は、従来のやり方で同じ仕事を成立させるのに、これだけの道具と時間がかかった、という記録そのものです。台帳には、試行ごとの成功と失敗も残っています。
同じブロックのピック&プレース(つかんで運んで置く仕事)を、SO-101 の学習でやらせて、お手本何本・何時間でどこまで届くかを並べれば、学習を選ぶ理由を自分のデータで示せます。mechArm 270 は捨てる資産ではなく、学習の側を際立たせる比べる相手になります。
mechArm 270 から引き継ぐのは、道具ではなく進め方
引き継ぐもの・確かめるもの・捨てるものを、3台の流れで並べました。
| mechArm 270 で作った | SO-101 で確かめる | FAIRINO で使う | |
|---|---|---|---|
お手本の選び方(浅いつかみを外す・置き場所ごとに本数をそろえる) | あり | 人の連続したお手本でも通用するか | 使う |
成否の判定(AI が先に付け、人が確定する) | あり | 機体の名前を入れた形で | 使う |
由来の記録(どのコード・どの入力・どの設定で作ったか) | あり | 機体とモデルの版を入れた形で | 使う |
Runpod で借りて学習し、Hugging Face にモデルを置く流れ | あり | 機体ごとの設定を足して | 使う |
| 失敗した区間の巻き戻しと補正 | ゲームパッド | リーダーと比べる | 速い方の道具 |
| カメラの構成 | 上と横(どちらも iPhone) | 手首と机側の分担 | 決まった構成 |
| 定数・FK 表・補正記憶 | mechArm 専用 | 持っていかない | 機体ごとに作る |
机側のカメラは、固定の USB カメラ(InnoMaker 720p・120°)にする
できればカメラはずっと固定したいのでiPhoneではなくUSBカメラを使いたいね。
mechArm 270 の上カメラは普段使いの iPhone で、毎回付けたり外したりしていました。そのため、実機の前にはいつもカメラの位置出しをしていました。SO-101 では、前に買って使っていなかった InnoMaker の USB カメラ(U20CAM-720P。720p・画角 120°)を、机側に固定で付けます。iPhone は、記事や動画の撮影用に戻ります。
画質が足りるかも確かめました。学習に使う分には足ります。π0.5 は画像を 224×224 ほどに縮めて使うので、720p(1280×720)はそれより十分大きいです。SO-101 と LeRobot の例でも、640×480・30コマで撮っているものが多く見られます。USB 2.0 でも、圧縮した映像(MJPEG)で受ければ 720p・30コマは流れます。
気をつけるのは、画素数より 120° の広さのほうです。マット(620mm 幅)だけを画面いっぱいに入れようとすると、カメラを 20cm ほどの低さまで下げることになり、端のゆがみが強く出ます。上げればゆがみは減りますが、マットの外まで写る分、ブロックに使える画素が減ります。この影響が出るのは、学習より測る作業です。爪からのはみ出しを画素で判定する、位置を mm に直す、といった処理では、mechArm 270 のときより1画素あたりの長さが粗くなります。
そこで、次の順に進めます。
- 使う高さに固定して、マットとアームの動く範囲がどう写るかを撮る
- ブロック1個が何画素になるかを測る
- 足りなければ、そのとき画角の狭いレンズを考える
写真で見るかぎり、このカメラはねじ込み式のレンズなので、同じ規格(M12)の画角の狭いレンズに替えられる見込みがあります。届いたらレンズの規格を確かめます。買うのは、測って足りないと分かってからです。
固定して使うときに、最初に決めておくことは4つです。
- カメラは三脚ではなく、机かマットに固定した台に付ける。アームの土台とカメラの位置関係が動かないことが大事で、付けた位置は写真と寸法で残す
- 広角のゆがみを、チェッカーボード(白黒の格子の板)を撮って一度だけ測り、カメラの構成と一緒に保存する。画像認識シリーズでやった校正のやり方がそのまま使える
- 明るさ・色・ピントの自動調整を切り、手動の値で固定して、その値も記録する。Mac では USB カメラのこの設定が効かないことがあるので、届いたらまず効くか、電源を入れ直しても残るかを確かめる
- 手首も机側も USB カメラになるので、抜き差しでカメラの番号が入れ替わらないよう、番号ではなくカメラの名前かシリアルで見分ける形にする。できれば、つなぐ USB の口を分ける
手首カメラで増えるデータの扱い
手首カメラが付くと、1本のお手本の映像は机側と手首の2本になり、データはほぼ倍になります。保存先は KIOXIA の外付け SSD(2TB)で、学習に使うお手本は Hugging Face の非公開の置き場所にも写します。
-
容量は推測しない。最初の10本を撮って1本あたりの大きさを測り、KIOXIA の残りに何本入るかを出す。そのうえで、Hugging Face に置く分と KIOXIA に残す分の分け方を決める
-
映像は1コマずつの画像ではなく、動画のファイルで持つ(LeRobot の形式も動画で持つ)
-
解像度・コマ数・明るさの値を最初に決めて固定し、お手本ごとの記録に残す
-
SO-101 の校正のファイルを、お手本と組で残す。校正し直すと、同じ数字でも違う姿勢を指すようになるため
-
ねらい:お手本の数が増えても、どの条件で撮ったかが後から分かり、容量で止まらないようにする
-
変わったこと:mechArm 270 では撮りながら決めていた画質と保存の形を、SO-101 では最初の10本の実測で先に決める
-
見込める効果:撮り直しや、条件の違うお手本が混ざって学習が崩れることを防げる(まだ見込み。最初の10本で大きさを、その後の学習で条件の混ざりがないかを確かめる)
記録の形は、機体を問わない形にしておく
FAIRINO が来たときに作り直さずに済むよう、SO-101 で作る台帳と記録には、次を最初から入れます。
- 機体の名前
- カメラの構成の名前(どのカメラを、どこに、どの設定で使ったか)
- 関節は機体の番号のまま記録し、機体ごとの対応の表を別に持つ
- 学習の記録には、モデルの名前と版
置き場所は、データの種類ごとに場所を決める決まり(MASTER の保存先の表)に、SO-101 の行を足します。最初のお手本を撮る前に足すのが決まりなので、届く前に案を作っておきます。mechArm 270 の今の場所は動かしません。行の中身は、まだ決めていません。
| 足す行(案) | 中身 |
|---|---|
| SO-101 のお手本 | LeRobot の形式のお手本(映像・関節の角度・お手本ごとの条件) |
| SO-101 の試行の記録 | 学習したモデルで動かした回の記録と台帳 |
| SO-101 の校正 | モーターの校正のファイル(お手本と組で) |
| カメラの構成 | 机側と手首のカメラの設定・ゆがみの値・付けた位置の写真と寸法 |
練習させる仕事は、形のそろわない硬い物の取り出し
何の仕事をさせれば現場で使い続けられるロボットになるかも考えました。選ぶ基準は、これまでに決めてきた軸のままです。人が集まらない仕事であること、学習でしか解けない部分があること、他の人が同じ環境で再現できること。そこに、失敗したとき人がすぐ戻せること、止まっても現場が困らないことを足します。
最初は、病院で搬送ロボットが運んできた検体を、規格のラックからラックへ移す仕事を候補にしました。ただ、規格のラック同士の移し替えは、すでに従来の自動化で解かれています。学習が活きるのは、従来のやり方だと手間が合わない、ばらつきの大きい部分です。そこで、物は硬い物に絞り、ばらつきは形と置かれ方で作ることにしました。
| 段 | 仕事 | ねらい |
|---|---|---|
| 練習 | mechArm 270 と同じブロックのピック&プレース | mechArm の記録と比べるために、そろえる |
| ばらつき | 箱に無造作に入った、形の違う硬い物(チューブ・小箱・ボトルなど)を取り出し、決まった場所に並べる | 置かれ方のばらつきが、学習の出番になる |
病院の題材なら、搬送ロボットの箱にばらばらの向きで入ってきた検体のチューブを取り出し、ラックに立てる仕事がそのまま当てはまります。チューブを立てて差す所は精度も要るので、手首カメラが効くかどうかの確かめにもなります。FAIRINO でも、硬い物の取り出しと仕分けから始めれば、SO-101 の結果がそのままつながります。
SO-101 が届いた週にやる順番
- 開封と組み立てを記録する
- モーターの設定と校正をして、リーダーで動かしてフォロワーがついてくるところまで(テレオペ)
- カメラ2台(机側の InnoMaker と手首の Seeed)を固定し、ブロックの仕事でリーダーで撮ったお手本を10本撮って、1本あたりの時間とデータの大きさを測る
- 少ない本数で、π0.5 の学習から実機の推論までを1回通す(量を増やす前に、流れが最後までつながることを確かめる。ここで機体ごとの設定の分け方が決まる)
- 本数を増やしながら成功率の伸びを測り、mechArm 270 の記録と比べる
- リーダーで失敗を直す流れを回し、1周の時間を測る
- ばらつきの大きい仕事(形の違う硬い物の取り出し)に移る
この回で決めていないこと
- MASTER の保存先の表に足す行の、具体的な場所の名前(届く前に案を出して決める)
- 机側のカメラの高さと、レンズを替えるかどうか(撮って測ってから)
- FAIRINO の機種(FR3 か FR5 か)と、FAIRINO でお手本を集める操作の道具(SO-101 の結果を見てから)
- mechArm 270 のシリーズを続けるか、比べる役に回すか