π0.5を個人で追加学習して動かす手順 ― Physical Intelligence のVLAを mechArm 270 で試した費用と結果
Physical Intelligence の π0.5 は、GPU を持っていない個人でも、借りた GPU で追加学習して自分のロボットアームで動かせる。 小型アーム mechArm 270 で、ブロックをつかんで箱に入れる作業のお手本50本を使い、Runpod で借りた NVIDIA A40 で3,000ステップ学習すると、6.2時間・約579円だった(Log#27)。実機で成否を判定できた92回のうち55回が成功し、成功率は59.8%(Log#36)。
このページは、フィジカルAI研究室の30本以上の記録を、始める順に並べ直した手順書です。版や数字が変わったら、このページを書き直します。日付つきの記録(LOG)は書き換えず、根拠として各節からリンクしています。
このページで分かること。
- π0・π0.5 とは何か。VLA(画像と言葉から動きを出すモデル)を、個人がどこまで使えるか
- 用意するもの(機材・GPU・ソフトウェアの版)と、記録に残っていない情報
- お手本集め → 学習 → 実機で動かす → 失敗を直す、の順の手順と、各段の時間と費用
- 実際にはまった所と、その直し方
π0・π0.5 とは:画像と言葉からロボットの動きを出すモデル(VLA)
π0(パイゼロ)と π0.5 は、米国の Physical Intelligence が公開したロボット用の基盤モデル。カメラの画像と「赤いブロックを箱に入れて」のような指示文を受け取り、ロボットの関節をどう動かすかを出す。画像(Vision)と言葉(Language)から動き(Action)を出すので、VLA(Vision-Language-Action)モデルと呼ばれる。
コードと学習済みの重みは、openpi として公開されている。元の重みのままでは、自分のアームのことを知らない。自分のアームで集めたお手本で追加学習(このページではすべて LoRA)させて使う。LoRA は、大きなモデルの重みを固定したまま、小さな追加の重みだけを学習するやり方で、少ない GPU のメモリで済む(Log#27)。
π0.5 は Mac では動かない。手元に GPU がない場合は、クラウドの GPU を時間単位で借りる(Log#2)。
用意するもの(環境の表)
記録で確かめた条件の一覧です。全部の項目を同時に使った一組の環境としては、まだ確かめていません。記録に値がないものは「ログにない」と書いています。
| 項目 | 記録にある値 | 出どころ |
|---|---|---|
| ロボットアーム | mechArm 270(中に Raspberry Pi。アームを動かす受け口の daemon が Pi で動く) | Log#20 |
| アームの電源 | 12V・5A。12V・2A(24W)では、つかんだブロックを落とした。本体は40W を求める | Log#30・Log#34 |
| Pi の pymycobot | 2.9.6。4.0.4 を読んでいた間は、1回の指令に約1.6秒かかった | Log#20 |
| 手元の PC | Mac(画像と指示文を送り、動きを受け取る) | Log#2 |
| 借りる GPU | Runpod の NVIDIA A40(GPU メモリ 46,068MiB)1台 | Log#3・Log#27 |
| Pod のテンプレート | Runpod Pytorch 2.8.0(CUDA 12.8.1・Ubuntu 24.04)。コンテナディスク 200GB、Volume なし | Log#27 |
| openpi | 推論を始めたときのコミット 215abfb217dbac7d5f1273282331b9b1866c0479。学習のたびに Pod で取り直しているため、学習した回ごとのコミットは各ログの付録で確かめる | Log#3 |
| 学習の出発点 | π0.5 base(gs://openpi-assets/checkpoints/pi05_base/params) | Log#27 |
| 学習の設定 | LoRA・batch 32。設定名 pi05_mecharm_deep_even10_lora(pi05_mecharm_trim_lora を写し、名前・データ名・ステップ数だけ替えた) | Log#27 |
| カメラ | 上から見るカメラ(傾きを変えても、π0.5 の行き先は変わらなかった) | Log#29 |
| 手直しの道具 | 3,198円の互換ゲームパッド(型番はログにない) | Log#19 |
| ブロックと箱の大きさ | ログにない | ― |
| Pi の型番・OS | ログにない | ― |
推論だけなら、GPU メモリは初期設定で34GB を先に確保するが、実際に使ったのは8.5GB だった(Log#3)。学習では最大41,283MiB を使った(Log#27)。
手順1:借りた GPU で π0.5 を動かし、Mac から動きを受け取る
最初は学習せずに、公開されている重みのまま推論を通す。Runpod で A40 を借りて openpi のサーバーを立て、Mac から SSH のトンネル経由で画像と指示文を送り、動きの数値を受け取る。
- モデル本体の推論は平均97ms、Mac との往復は平均391ms(Log#2)
- 公式の手順のままでは止まる所が2か所あり、直し方は Log#2 に載せた
- シミュレータ LIBERO 向けの重みで、10作業を2回ずつ試して20回すべて成功した。ここで、自分の GPU の上で正しく動いているかを確かめられる(Log#3)
手順2:自分のアームでお手本を集める
π0.5 に渡すお手本は、アームを手で動かして姿勢を教え、それを再生しながらカメラの画像と関節の角度を録る形で集めた(Log#8・Log#9)。
最初は2本で試し、A40 で200ステップ学習すると loss は0.1031から0.0162へ下がり、Mac で予測を受け取れた(Log#4)。流れが通るかを、少ない本数で先に確かめるとよい。
最終的には、ブロックを置く場所を5か所にし、各10本、合わせて50本にそろえた(Log#26)。そろえるまでに分かったことが3つある。
- 場所ごとの本数をそろえる。 偏ると、少ない場所で失敗する(Log#26)
- 深くつかむお手本だけにする。 失敗の主な原因は、ブロックが奥まで入る前に爪を閉じる浅いつかみで、学習データ30本中7本が同じ浅さだった(Log#23)
- 止まっている時間を詰める。 π0.5 はお手本の中の停止まで覚え、ブロックの近くで止まった。お手本の4割が止まっている時間だった(Log#11)
お手本の採否の決め方(つかみの深さの測り方・爪がブロックに乗った回の見分け方)と、集め方の手順は、ロボットアームの模倣学習、お手本は何本・どう集めるかにまとめている。
注意:手で教えたお手本は、アームが動いた量の半分ほどが実測の角度ではなく、前後の実測を直線で結んで補った値だった(Log#36)。角度を読む間隔を詰める直しを進めている。
手順3:LoRA で追加学習する(3,000ステップ・6.2時間・約579円)
お手本50本(7,128コマ)で、π0.5 base から LoRA で3,000ステップ学習した(Log#27)。
| 段階 | 時間 |
|---|---|
| Pod を作り、立ち上がるまで | 1分 |
スクリプトを送り、openpi を取り、設定を入れる | 2分13秒 |
お手本の tar(193MB)を送る | 2分13秒 |
LeRobot の形に変え、正規化の値を測り直す | 2分38秒 |
学習(3,000ステップ、1ステップ約7.2秒) | 5時間58分 |
確かめ・Hugging Face へ上げる・ログを持ち帰る・Pod を消す | 約6分 |
| 借りていた時間の合計 | 372分24秒・約3.66ドル(約579円、1時間0.59ドル・1ドル158円) |
loss は0.1015から0.0036まで下がった。ただし、loss が下がっても、実機で届くとは限らない。 19本で4,000ステップ学習して loss を0.0030まで下げたときも、爪は2回ともブロックの奥で空を閉じた(Log#7)。
使い終わった Pod は、停止ではなく削除まで行う。停止だけではディスクの料金がかかり続ける。削除すると中身が消えるので、学習したモデルとログは先に手元へ移す。
手順4:実機で動かす
学習したモデルを Pod のサーバーに読み込み、Mac が上カメラの画像を送って、返ってきた動きを Pi の daemon 経由でアームに送る。
- 初めて動かしたときは、ブロックの真上で手首が指令に届かずに止まった。原因は爪がブロックに乗っていたことで、動画で分かった(Log#6)
- 学習し直さず、AI に渡す肩の角度を直前の目標に変えただけで、毎回約2°足りず箱に当てていた動きが直り、初めてブロックを箱に入れた(Log#12)
- 1回の動きは、待ちを削ると144秒から54〜95秒に縮んだ。効いたのは最初の推論の57秒と、人の Enter 待ちを削ったこと(Log#35)
手順5:失敗を人が直し、直した動きで学び直す
失敗しかけた所で止め、人がゲームパッドで関節を直して続けさせ、直した動きを学習データにする(Log#15・Log#17)。
- 直す1回は、ゲームパッドで中央14.5秒、キーボードでは43.2秒。そのうち関節を動かしているのは2.6秒だけだった(Log#32)
- 人が直した5回で学び直しても、成功した6回はすべて人の直しつきで、直しなしの1回は根元が約2°足りず空振りした(Log#18)
この段は、まだ結果が出ていない。
よくあるつまずきと直し方
アームへの指令が1回1.6秒もかかる
Pi の daemon が pymycobot 4.0.4 を読んでいた。2.9.6 に戻すと送信は約0.02秒になった。入れた版ではなく、動いている daemon が読んでいる版を確かめる(Log#20)。
つかんだブロックを途中で落とす
電源の不足だった。12V・2A を12V・5A に替えると、π0.5 は位置5で5回とも成功した(12V・2A の日は3回中1回)(Log#34)。
肩を深く倒した姿勢が動かない
肩を約88°より深く倒した姿勢は、命令がエラーなしに捨てられていた。お手本をその範囲に収める(Log#9)。
特定の置き場所だけ失敗する
3か所に5回ずつ置くと15回中9回成功し、腕を伸ばしきる位置は1/5だった(Log#14)。50本で学んだモデルでも、位置2は4回ともつかむ姿勢まで届かなかった。カメラの傾きは原因ではなかった(Log#28・Log#29)。
成功か失敗かが後から分からない
推論の記録176回のうち108回に、成否の印がなかった。AI が先に判定を付け、人が画面で確かめて確定する形にした(Log#36)。最初から1回ごとに成否を残しておく。
いまの到達点(2026-11-15)
| 見たもの | 結果 | 出どころ |
|---|---|---|
実機の成功率(成功 ÷ 成功と失敗) | 59.8%(55/92)。10月は63%(20/32)、11月は58%(35/60)。モデル・電源・人の直しの有無が違う回をまとめた数 | Log#36 |
| 失敗でいちばん多い形 | つかめたが、置けなかった(失敗37回中17回) | 判定の記録(2026-11-15 集計) |
| 電源を12V・5A にした日 | 位置5で5回とも成功 | Log#34 |
まだ、自分以外の環境で再現された記録はない。
ログにない情報(再現に足りないもの)
- ブロックと箱の大きさ・重さ
- Pi の型番と OS の版
- ゲームパッドの型番
- 成功した各回が、どの電源・どのモデルで出たかの対応(ログを1本ずつ読めば分かるが、表にまとめていない)
ここで止まった人、埋められる人は、下のフォームから教えてください。
再現を試した記録を送る
最後まで進んでいなくてもかまいません。メッセージのフォームから、次の4つを書いて送ってください。
- どこまで進んだか
- このページと違う所(アーム・GPU・版・電源)
- 止まった所、またはエラー
- 上の「ログにない」のうち、困った項目
このページの更新
| 日付 | 変えたこと |
|---|---|
| 2026-11-15 | 公開 |