LOG361フィジカルAI研究室2026/10/22

フィジカルAI研究室を作る Log#12 | Physical Intelligence の π0.5 が初めてブロックを箱に入れた

机の上の小さなロボットアームが、AI の指示だけで赤いブロックをつかみ、持ち上げて、白い箱の中に落としました。人がお手本を見せて学ばせた AI でこのアームを動かし始めてから、ブロックが箱に入ったのはこれが初めてです。同じ日の朝、同じ AI は、つかんだブロックをマットに付けたまま引きずり、箱の壁にぶつけて箱ごと押していました。

朝と夕方で、AI そのものは何も変えていません。学習し直してもいません。変えたのは、AI の答えをアームに届ける側の2か所だけです。

原因は、アームの肩の小さな「届かなさ」でした。ブロックを持って腕を上げる指令を出すと、肩の関節は毎回、目標より約2°低いところで止まります。この日の記録を全部数えると、ブロックを持って肩を上げた指令43回のうち、43回とも目標に届いていませんでした（0.77〜2.80°、真ん中の値は 2.20°）。2°は目で見ても分からないほどの差です。ところが AI は、「いま腕が何度にあるか」を測った値を見て、次の1秒の動きを決めます。低いまま止まった角度を見て、そこからまた「これだけ上げる」と答えるので、足りなかった分は取り戻されず、毎回積み重なっていきます。0.5秒ずつ動かした回では、合計 41.2° 上げる指令に対して、実際に上がったのは 11.1° でした。

使った AI は、米国の Physical Intelligence 社が公開しているロボット用のモデル π0.5（パイレイテンゴ）です。上から見たカメラの画像と、6つの関節の角度を受け取り、次の1秒（10ステップ）の関節の角度を返します。人が手でアームを動かして教えた動きを19回録り、それを見せて学習させました（模倣学習）。

AI が悪いのか、アームが悪いのかを分けるために、お手本そのものをアームでもう一度再生して、横から撮りました。再生ではブロックは毎回箱に入り、ブロックは箱のふちより十分に高いところを通っていました。お手本の再生は、毎回「この角度へ行け」と決まった角度を送るので、2°の不足はその場かぎりで、次へ持ち越されません。AI で動かすときだけ、不足が持ち越されていたことになります。

そこで、AI に渡す「いまの角度」を、測った値ではなく、直前にアームへ送った目標の角度に変えました。AI に渡す角度を、測った値から直前に送った目標に変えると、肩の不足が積み重ならなくなり、ブロックが初めて箱に入りました。 あわせて、1秒分の答えのうち最後の姿勢だけを送っていたのを、途中の姿勢も順に送るように変え、「持ち上げてから回る」という順番を保つようにしています。

やったことの全体は次のとおりです。

やったこと	なぜ	結果
お手本と同じ位置にブロックを置く道具を作った	AI が学習した場面と同じ条件で試すため	位置C・D・E のどれでも、お手本の最初のコマを重ねて置けるようになった
位置C で AI に動かさせた（朝）	前の回の「持ち上げずに引きずる」が、置き場所のせいかを確かめるため	お手本どおりの位置でも、引きずって箱の壁に当てた
肩を上げる指令と、実際に上がった角度を全部数えた	どこで高さを失っているかを知るため	43回とも目標より低く止まった。下げる向きは約1°行き過ぎる
同じ目標を送り直して詰める処理を足した	2°の不足を、その場で取り戻せるかを見るため	送り直しても縮まらなかった
1秒分の途中の姿勢も送るようにした	お手本は、つかんだあと1.5秒その場で持ち上げてから回っていたため	順番は保てたが、高さはまだ足りなかった
お手本の動きをそのまま実機で再生し、横から撮った	AI とアームのどちらに原因があるかを分けるため	4回とも箱に入った。ブロックは箱のふちより上を通った
AI に渡す角度を、直前に送った目標にした	不足が積み重なる仕組みを断つため	18:16 の回で、つかんで持ち上げ、箱に入れた

18:16 の回を横から撮った動画のコマ。ブロックの上で深くつかみ、持ち上げてから右へ回り、箱の上で離して、ブロックが箱の中に残っている

ただ、続けて試した回は安定していません。18:26 の回は箱の位置で爪を開きましたが、動画がなく、箱に入ったかは確かめられていません。18:30 と 18:32 の回はブロックをつかみ損ねました。そのあと、手首の関節 j4 が +45.87° のまま動かなくなり、この日の実機はここで終えています。お手本の他の置き場所（位置D・E）はまだ試せていません。

この回の作業も、Claude（この記事の手順とプログラムを一緒に組み立てた AI）と進めました。手順・分析・記録の集計は Claude、アームを動かすプログラムの変更は Claude Code、その確認は codex（別の AI）が行い、アームの操作と、目で見た判断・止める判断はこちらで行っています。ここから下は、使ったコマンド・コード・出力を全量で載せた作業ログです。ログの中の Pod（借りた GPU マシン）の IP アドレスとポート番号は、<POD_IP> と <SSH_PORT> に置き換えています。コミットの説明文や Claude Code の報告に出てくる「LOG359」は、記事の番号が決まる前に仮に付けた番号で、この記事（LOG361）のことです。

作業ログ ― 推論用の Pod を借り直し、学習済みのモデルを送ってサーバーを起動した

前の回（LOG358）で学習し直したモデル（pi05_mecharm_trim_lora・お手本 teach_v1_trim2・4,000 ステップ）は、Mac につないだ外付け SSD（KIOXIA）の checkpoints/pi05_mecharm_trim_lora_v1/3999/ に持ち帰ってあります。推論だけなら学習ほど GPU のメモリは要らないので、Runpod で推論用の Pod を借り直しました。朝の Pod は GPU の型番と料金を記録していません。夕方に借り直した Pod は A40（46GB）で、料金は記録していません。

Mac から、mechArm 用のスクリプト一式と学習設定の追加スクリプト、モデルを送りました。モデルは大きいファイルから順に4本同時に送り、送り終えたあとファイルの大きさを Pod 側と1つずつ照らし合わせています。

(base) shimazueiichi@shimadzueiichinoMacBook-Pro 3999 % P=<SSH_PORT>; IP=<POD_IP>; K=~/.ssh/id_ed25519
ssh -p $P -i $K root@$IP "mkdir -p /workspace/r2r2r /workspace/logs"
scp -P $P -i $K -r ~/r2r2r-scripts/pi05 root@$IP:/workspace/r2r2r/
scp -P $P -i $K /Volumes/KIOXIA/r2r2r-data/lab/Log11/pod/add_trim_config.py root@$IP:/workspace/r2r2r/
cd /Volumes/KIOXIA/r2r2r-data/checkpoints/pi05_mecharm_trim_lora_v1/3999
find . -type d | ssh -p $P -i $K root@$IP "mkdir -p /workspace/ckpt/3999 && cd /workspace/ckpt/3999 && xargs mkdir -p"
find . -type f -exec stat -f '%z %N' {} + | sort -rn | cut -d' ' -f2- | xargs -P 4 -I{} scp -q -P $P -i $K {} root@$IP:/workspace/ckpt/3999/{}
ssh -p $P -i $K root@$IP "cd /workspace/ckpt/3999 && find . -type f -printf '%s %p\n'" > /tmp/remote_ck.txt
find . -type f | while read f; do s=$(stat -f %z "$f"); grep -qx "$s $f" /tmp/remote_ck.txt || echo "不一致: $f"; done; echo "確認おわり"
eval_policy_offline.py                        100% 9921    35.6KB/s   00:00    
convert_to_lerobot.py                         100% 2873    10.5KB/s   00:00    
run_policy_client.py                          100%   24KB  88.5KB/s   00:00    
check_dataset.py                              100%   14KB  52.2KB/s   00:00    
build_demo_episodes.py.bak_pre_LOG352_2026101 100%   11KB  40.6KB/s   00:00    
RUNPOD_TRAIN.md                               100%   15KB  54.0KB/s   00:00    
install_addon.py                              100% 4786    17.4KB/s   00:00    
mecharm_policy.py                             100% 2321     8.5KB/s   00:00    
eval_policy_offline.cpython-312.pyc           100%   15KB  55.2KB/s   00:00    
build_demo_episodes.cpython-310.pyc           100%   11KB  39.5KB/s   00:00    
build_demo_episodes.cpython-312.pyc           100%   29KB 107.9KB/s   00:00    
check_dataset.cpython-312.pyc                 100%   25KB  93.5KB/s   00:00    
policy_ws.cpython-312.pyc                     100% 4580    16.4KB/s   00:00    
camera_align.cpython-312.pyc                  100%   18KB  68.5KB/s   00:00    
run_policy_client.cpython-312.pyc             100%   30KB 110.6KB/s   00:00    
build_demo_episodes.py                        100%   24KB  90.5KB/s   00:00    
policy_ws.py                                  100% 2778    10.1KB/s   00:00    
camera_align.py                               100%   13KB  49.1KB/s   00:00    
add_trim_config.py                            100% 1966     7.0KB/s   00:00

Pod 側では、tmux（接続が切れても作業が続く画面）を先に1行だけで開き、その中で openpi（π0.5 を動かすための公開コード、コミット 215abfb）を取り直して uv sync し、mechArm 用の追加（install_addon.py）と学習設定の登録（add_trim_config.py）を入れてから、推論サーバーを起動しました。手順は前の回と同じで、設定名とお手本の名前だけが pi05_mecharm_trim_lora・mecharm_redblock_box_teach_v1_trim2 に変わります。Pod の画面の出力は残していないので、使ったコマンドだけを載せます。

tmux new -s p

python3 /workspace/r2r2r/pi05/openpi_addon/install_addon.py /workspace/openpi
python3 /workspace/r2r2r/add_trim_config.py /workspace/openpi
cd /workspace/openpi
mkdir -p assets/pi05_mecharm_trim_lora/local && cp -r /workspace/ckpt/3999/assets/local/mecharm_redblock_box_teach_v1_trim2 assets/pi05_mecharm_trim_lora/local/
uv run scripts/serve_policy.py policy:checkpoint --policy.config=pi05_mecharm_trim_lora --policy.dir=/workspace/ckpt/3999 2>&1 | tee /workspace/logs/serve.log

Mac 側からは、Pod の 8000 番を手元の 8000 番へつなぐ SSH のトンネルを張り、アームを動かすクライアントは ws://localhost:8000 に問い合わせます。

ssh -N -L 8000:localhost:8000 -p <SSH_PORT> -i ~/.ssh/id_ed25519 root@<POD_IP>

KIOXIA の lab/Log12/serve.log に持ち帰った、朝のサーバーのログです（10時28分に持ち帰った時点のもの）。時刻は Pod の時計（世界標準時）です。

INFO:root:Loading model...
INFO:2026-10-22 00:52:10,003:jax._src.xla_bridge:925: Unable to initialize backend 'rocm': module 'jaxlib.xla_extension' has no attribute 'GpuAllocatorConfig'
INFO:jax._src.xla_bridge:Unable to initialize backend 'rocm': module 'jaxlib.xla_extension' has no attribute 'GpuAllocatorConfig'
INFO:2026-10-22 00:52:10,005:jax._src.xla_bridge:925: Unable to initialize backend 'tpu': INTERNAL: Failed to open libtpu.so: libtpu.so: cannot open shared object file: No such file or directory
INFO:jax._src.xla_bridge:Unable to initialize backend 'tpu': INTERNAL: Failed to open libtpu.so: libtpu.so: cannot open shared object file: No such file or directory
INFO:absl:orbax-checkpoint version: 0.11.13
INFO:absl:Created BasePyTreeCheckpointHandler: use_ocdbt=True, use_zarr3=False, pytree_metadata_options=PyTreeMetadataOptions(support_rich_types=False), array_metadata_store=<orbax.checkpoint._src.metadata.array_metadata_store.Store object at 0x706101a9bb10>
INFO:absl:Restoring checkpoint from /workspace/ckpt/3999/params.
INFO:absl:[thread=MainThread] Failed to get flag value for EXPERIMENTAL_ORBAX_USE_DISTRIBUTED_PROCESS_ID.
INFO:absl:[process=0] /jax/checkpoint/read/bytes_per_sec: 1.3 GiB/s (total bytes: 6.3 GiB) (time elapsed: 5 seconds) (per-host)
INFO:absl:Finished restoring checkpoint in 5.07 seconds from /workspace/ckpt/3999/params.
INFO:openpi.shared.download:Downloading gs://big_vision/paligemma_tokenizer.model to /root/.cache/openpi/big_vision/paligemma_tokenizer.model
INFO:tqdm_loggable.tqdm_logging:Progress on: -/4264023 rate:- remaining:? elapsed:00:00 postfix:-
INFO:tqdm_loggable.tqdm_logging:Progress on: 4.07MiB/4.07MiB rate:4,259,565.7iB/s remaining:00:00 elapsed:00:01 postfix:-
INFO:root:Loaded norm stats from /workspace/openpi/assets/pi05_mecharm_trim_lora/local/mecharm_redblock_box_teach_v1_trim2
INFO:root:Loaded norm stats from /workspace/ckpt/3999/assets/local/mecharm_redblock_box_teach_v1_trim2
INFO:root:Creating server (host: 05c03cfb11fc, ip: 172.16.80.2)
INFO:websockets.server:server listening on 0.0.0.0:8000
INFO:websockets.server:connection open
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 37440) opened
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 37440) closed
INFO:websockets.server:connection open
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 40204) opened
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 40204) closed
INFO:websockets.server:connection open
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 52988) opened
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 52988) closed
INFO:websockets.server:connection open
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 55516) opened
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 55516) closed

Loaded norm stats from …/mecharm_redblock_box_teach_v1_trim2 の2行で、学習に使ったお手本（trim2）から計算した正規化の値を読んだことが分かります。connection open と closed の組は、Mac のクライアントが1回つなぐたびに出る行です。

お手本と同じ位置にブロックを置くため、camera_align.py に —episode を足した

この記事のコード・ログ・データは、1ファイルずつ下に置いています。全文はリンク先にあります。

ファイルの一覧（30本）

01_camera_align.py_--episode.txt ― お手本と同じ位置にブロックを置くため、camera_align.py に --episode を足した・4,937字

02_sec03.txt ― 位置C の朝の回は、つかんで運んだが、引きずって箱の壁に当てた・5,816字

03_sec03.txt ― 位置C の朝の回は、つかんで運んだが、引きずって箱の壁に当てた・9,661字

04_sec03.txt ― 位置C の朝の回は、つかんで運んだが、引きずって箱の壁に当てた・6,032字

05_sec04.txt ― 0.5 秒ずつ動かした 10:20 の回は、深くつかみ、持ち上がらないまま31回問い合わせた・3,052字

06_sec04.txt ― 0.5 秒ずつ動かした 10:20 の回は、深くつかみ、持ち上がらないまま31回問い合わせた・7,857字

07_settle.txt ― 同じ目標を送り直して詰める settle を足したが、ずれは縮まらなかった・3,307字

08_settle.txt ― 同じ目標を送り直して詰める settle を足したが、ずれは縮まらなかった・4,249字

09_settle.txt ― 同じ目標を送り直して詰める settle を足したが、ずれは縮まらなかった・4,291字

10_settle.txt ― 同じ目標を送り直して詰める settle を足したが、ずれは縮まらなかった・5,896字

11_1_--via-stride.txt ― 1秒分の途中の姿勢も送る --via-stride を足した・4,019字

12_1_--via-stride.txt ― 1秒分の途中の姿勢も送る --via-stride を足した・3,735字

13_1_--via-stride.txt ― 1秒分の途中の姿勢も送る --via-stride を足した・13,091字

14_sec10.txt ― お手本の動きを実機でそのまま再生すると、ブロックは4回とも箱に入った・5,202字

15_sec10.txt ― お手本の動きを実機でそのまま再生すると、ブロックは4回とも箱に入った・6,659字

16_sec10.txt ― お手本の動きを実機でそのまま再生すると、ブロックは4回とも箱に入った・11,491字

17_sec10.txt ― お手本の動きを実機でそのまま再生すると、ブロックは4回とも箱に入った・3,822字

18_AI_--state-from-target.txt ― AI に渡す角度を、直前に送った目標にする --state-from-target を足した・3,590字

19_sec12.txt ― 18:16 の回で、π0.5 がブロックを初めて箱に入れた・8,128字

20_sec12.txt ― 18:16 の回で、π0.5 がブロックを初めて箱に入れた・23,898字

21_sec13.txt ― 続く4回は、2回を1チャンクで止め、1回は箱の位置で離し、2回はつかみ損ねた・6,231字

22_sec13.txt ― 続く4回は、2回を1チャンクで止め、1回は箱の位置で離し、2回はつかみ損ねた・19,858字

23_sec13.txt ― 続く4回は、2回を1チャンクで止め、1回は箱の位置で離し、2回はつかみ損ねた・21,597字

24_sec14.txt ― 位置D に移ろうとしたところで、手首 j4 が +45.87° のまま動かなくなった・14,855字

25_sec14.txt ― 位置D に移ろうとしたところで、手首 j4 が +45.87° のまま動かなくなった・7,010字

26_sec14.txt ― 位置D に移ろうとしたところで、手首 j4 が +45.87° のまま動かなくなった・3,580字

27_sec15.txt ― 実機の回すべてのチャンクの記録・30,101字

28_sec15.txt ― 実機の回すべてのチャンクの記録・6,789字

29_sec16.py.txt ― この回で変えた2つのファイルの全文（run_policy_client.py・camera_align.py）・35,559字

30_sec16.py.txt ― この回で変えた2つのファイルの全文（run_policy_client.py・camera_align.py）・10,409字

前の回の夕方は、ブロックをお手本の置き場所と置き場所の間に置いていました。今回は、AI が学習した場面と同じ条件で試すため、お手本とまったく同じ位置に置くことにしました。お手本は5か所（A〜E）で録っていて、今回は位置C から試します。

上のカメラの写り方を確かめる camera_align.py は、ライブの映像にお手本の最初のコマを半透明で重ねて表示します。これまでは重ねるお手本が位置A の1本に決まっていたので、どのお手本を重ねるかを選べるようにしました（Claude Code の実装）。重なって見えるお手本のブロックに、実物のブロックを合わせれば、同じ位置に置けます。Claude Code の報告です。

記録	モデルに渡した角度	ブロックを持って上げた指令の合計	実際に上がった量
10:07（100713）	測った値	−20.3°	−12.0°
10:20（102053）	測った値	−41.2°	−11.1°
13:10（131036）	測った値	−19.6°	−11.9°
18:16（181602）	直前の目標	−50.8°	−42.2°
18:26（182650）	直前の目標	−24.6°	−15.6°

フィジカルAI研究室を作る Log#12 | Physical Intelligence の π0.5 が初めてブロックを箱に入れた

作業ログ ― 推論用の Pod を借り直し、学習済みのモデルを送ってサーバーを起動した

お手本と同じ位置にブロックを置くため、camera_align.py に —episode を足した

位置C の朝の回は、つかんで運んだが、引きずって箱の壁に当てた

0.5 秒ずつ動かした 10:20 の回は、深くつかみ、持ち上がらないまま31回問い合わせた

肩を上げる指令43回は、すべて目標より 0.77〜2.80° 低いところで止まっていた

同じ目標を送り直して詰める settle を足したが、ずれは縮まらなかった

上カメラの写り方は、macOS のセンターフレームで数秒後に変わっていた

つかんだあと、お手本は 1.5 秒その場で持ち上げてから回っていた

1秒分の途中の姿勢も送る —via-stride を足した

お手本の動きを実機でそのまま再生すると、ブロックは4回とも箱に入った

AI に渡す角度を、直前に送った目標にする —state-from-target を足した

18:16 の回で、π0.5 がブロックを初めて箱に入れた

続く4回は、2回を1チャンクで止め、1回は箱の位置で離し、2回はつかみ損ねた

位置D に移ろうとしたところで、手首 j4 が +45.87° のまま動かなくなった

実機の回すべてのチャンクの記録

この回で変えた2つのファイルの全文（run_policy_client.py・camera_align.py）

次は、手首 j4 を直してから、位置D・E と 18:26 の回の再現を動画で確かめる

Series | フィジカルAI研究室の記録