フィジカルAI研究室を作る Log#11 | Physical Intelligence の π0.5 は「待ち時間」まで覚えた

この記事の素材(コード・ログ・データ 17ファイル・まとめてダウンロードあり)
AIで読む ChatGPT・Claude などで、この記事に質問できます

Physical Intelligence の π0.5 は、お手本の動きと一緒に、お手本の中でアームが止まっていた待ち時間まで覚えていました。止まっている時間を詰めて学習し直すと、mechArm 270 はブロックをつかんで箱まで運びましたが、持ち上げずに箱の外で離しました。

机の上の小さなロボットアームに、AI の指示で赤いブロックを白い箱へ入れさせようとしています。朝、学習し直した AI でアームを動かすと、腕はブロックの方へまっすぐ伸び、すぐ近くまで来たところで止まりました。そのあと13回続けて AI に「次の1秒でどう動くか」を聞いても、返ってくる答えは「ほとんど動かない」でした。朝の回でアームが実際に動いたのは、最初の1分ほどです。

原因は AI の性能ではなく、AI に見せたお手本の中にありました。お手本は、人が手でアームを動かして教えた要所の姿勢を、アームに再生させて録ったものです。再生の途中で、アームは「指定の姿勢に着いたか」を確かめたり、グリッパーが落ち着くのを待ったりするために、何度も止まっていました。止まっている時間はお手本全体の 40%。ブロックの真上に着いたところでは、毎回 1.5〜2 秒、まったく動いていません。AI は、お手本の動きと一緒に、この待ち時間まで「その場面でやるべき動き」として覚えていました。

使った AI は、米国の Physical Intelligence 社が公開しているロボット用のモデル π0.5(パイレイテンゴ)です。上のカメラの画像と関節の角度を受け取り、次の1秒の動きを返します。アームが止まっている間は、画像も関節の角度も変わりません。お手本の中に「1秒先までずっと止まっている」場面が続くと、AI はその場面で「止まる」以外の答えを持てなくなります。お手本を見せて動きをまねさせるやり方(模倣学習)では、人の目には「ただ待っているだけ」の時間も、まねする対象に入ります。

調べていくと、原因はもう1つありました。上のカメラ(普段使いの iPhone を毎回付け外ししています)の写り方が、実機を動かした回だけ、お手本の画像より下に大きくずれていました。AI は、学習で見たことのない写り方の画像を見ながら動いていたことになります。

止まっている時間を詰めたお手本で学習し直し、夕方にもう一度動かしました。今度は8回とも止まらず、2回はブロックをつかみ、1回は箱の位置まで運んで離しています。ただ、運ぶ間にブロックを持ち上げられず、マットの上を引きずったまま箱の壁に当て、箱の外に落としました。肩で腕を上げた分を、手首が爪先を下げる向きに動いて打ち消していたためです。

やったことの全体は次のとおりです。

やったことなぜ結果
学習したモデル(約6GB)を、推論(学習したモデルに画像と角度を渡して、次の動きを答えさせること)用に借りた GPU へ送った
AI を動かすには GPU が要り、Mac では動かせない
40分以上かかり、その間に Mac のターミナルが2回固まった
実機のアームを π0.5 で動かした
置き場所を5か所に変えたお手本で学習したモデルを試すため
7回の指令でブロックの近くまで来て、そこから動かなくなった
お手本のデータを数えた止まった理由を調べるため
止まっている時間が 40%。ブロックの真上で毎回 1.5〜2 秒止まっていた
止まっている時間を縮めたお手本を作り、外部の AI(codex)に確かめてもらった
「止まる」を覚えさせないため
1回目は NG(削った継ぎ目で、学習の正解が崩れていた)。直した版で 2,717 ステップ
上のカメラの画像を、お手本と並べた
写り方の違いを確かめるため
実機を動かした回だけ、画像が下に約18〜37ピクセルずれていた
直したお手本で学習し直した止まらない AI を作るため
A40 で 7時間22分。loss(学習で使う、お手本とのずれを表す値。小さいほどお手本に近い)は 0.1104 から 0.0021 へ
学習の前と実機の前に、問題を見つける道具を足した
8時間学習して実機で動かすまで、原因が分からない作りだったため
お手本の点検・お手本との答え合わせ・肩の角度の上限・カメラの写り方の確認
夕方、学習し直したモデルで実機を8回動かした
止まらなくなったかを確かめるため
8回とも止まらなかった。2回つかみ、1回は箱の位置まで運んだが、持ち上げが足りず箱の外で離した

この回の作業も、Claude(この記事の手順とプログラムを一緒に組み立てた AI)と進めました。手順・分析・プログラムの一部は Claude、データを作り直すプログラムとアームを動かすプログラムの変更は Claude Code、その確認は codex(別の AI)が行い、アームの操作と目で見た判断はこちらで行っています。ここから下は、使ったコマンド・コード・出力を全量で載せた作業ログです。ログの中の Pod(借りた GPU マシン)の IP アドレスとポート番号は、<POD_IP> と <SSH_PORT> に置き換えています。費用の円は 1ドル=158円 で計算しています。

GPU を買うか借りるかの判断は、Runpod(GPU を積んだマシンを時間単位で借りられるサービス)で実際に借りて学習させた費用をもとに、別のページにまとめています。

導入比較ガイドロボットAIの学習用GPU、買うか借りるか実際に借りて学習させた費用と、損益分岐の計算機で決められます

作業ログ ― 推論用の Pod に openpi を入れ直し、mechArm 用の設定を2つ登録した

前の回で学習したモデルは、Mac につないだ外付け SSD(KIOXIA)の checkpoints/pi05_mecharm_teach_lora_v1/3999/ に持ち帰ってあります。推論に使うのは、その中の params/(重み 6.0GB)と assets/(正規化の値 1.6MB)です。正規化の値は、関節の角度を学習しやすい範囲の数に直すための目安の値で、学習に使ったお手本から計算してあります。

学習に使った Pod は削除してあるので、推論用に新しく Pod を借りました。推論だけなら学習ほど GPU のメモリは要らないので、24GB 以上の GPU を選んでいます。この Pod も使い終わってすぐ削除したため、GPU の型番と料金は記録を残せていません。

Pod に入り、tmux(接続が切れても作業が続く画面)の中で、openpi(π0.5 を動かすための公開コード)を前回と同じ版で取り直しました。uv sync の最後の部分です。

 + tyro==0.9.22
 + tzdata==2025.2
 + urllib3==2.4.0
 + virtualenv==20.31.2
 + wadler-lindig==0.1.6
 + wandb==0.19.11
 + wcwidth==0.2.13
 + websockets==15.0.1
 + werkzeug==3.1.3
 + widgetsnbextension==4.0.14
 + wrapt==1.14.1
 + xxhash==3.5.0
 + yarl==1.20.0
 + zarr==3.0.8
 + zipp==3.22.0
root@7f6b9147d13a:/workspace/openpi#

Mac から、mechArm 用のスクリプトと、前の回(LOG355)で作った学習設定の追加スクリプト add_teach_config.py を送り、openpi に登録しました。推論サーバーを起動するときも、学習のときと同じ設定名(pi05_mecharm_teach_lora)が要るためです。

install_addon.py /workspace/openpi
python3 /workspace/r2r2r/add_teach_config.py /workspace/openpi
installed: policies/mecharm_policy.py + config.py (pi05_mecharm_lora)
installed: pi05_mecharm_teach_lora (repo_id=local/mecharm_redblock_box_teach_v1, 4,000 steps)
root@7f6b9147d13a:/workspace/openpi#

モデル 6GB を8本同時に送り始めたら、Mac のターミナルが固まった

LOG345 の経験から、1本の接続で送ると1秒に約1MB しか出ないことが分かっていました。そこで、大きいファイルから順に8本同時に送る形にしました。

Last login: Wed Oct 21 07:35:07 on ttys002
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ % P=<SSH_PORT>; IP=<POD_IP>; K=~/.ssh/id_ed25519
scp -P $P -i $K -r ~/r2r2r-scripts/pi05 root@$IP:/workspace/r2r2r/
scp -P $P -i $K /Volumes/KIOXIA/r2r2r-data/lab/Log10/pod/add_teach_config.py root@$IP:/workspace/r2r2r/
cd /Volumes/KIOXIA/r2r2r-data/checkpoints/pi05_mecharm_teach_lora_v1/3999
find . -type d | ssh -p $P -i $K root@$IP "mkdir -p /workspace/ckpt/3999 && cd /workspace/ckpt/3999 && xargs mkdir -p"
find . -type f -exec stat -f '%z %N' {} + | sort -rn | cut -d' ' -f2- | xargs -P 8 -I{} scp -q -P $P -i $K {} root@$IP:/workspace/ckpt/3999/{}
convert_to_lerobot.py                         100% 2873    10.5KB/s   00:00    
run_policy_client.py                          100%   13KB  36.8KB/s   00:00    
build_demo_episodes.py.bak_pre_LOG352_2026101 100%   11KB  40.9KB/s   00:00    
RUNPOD_TRAIN.md                               100% 9229    33.6KB/s   00:00    
install_addon.py                              100% 4786    17.1KB/s   00:00    
mecharm_policy.py                             100% 2321     8.5KB/s   00:00    
build_demo_episodes.cpython-310.pyc           100%   11KB  39.9KB/s   00:00    
build_demo_episodes.cpython-312.pyc           100%   20KB  75.6KB/s   00:00    
policy_ws.cpython-312.pyc                     100% 4580    16.7KB/s   00:00    
build_demo_episodes.py                        100%   15KB  43.6KB/s   00:00    
policy_ws.py                                  100% 2778    10.2KB/s   00:00    
add_teach_config.py                           100% 1906     6.9KB/s   00:00

最後の行の送信は -q で進み具合の表示を消しているので、送っている間は何も出ません。この状態を見て、ターミナルが固まったように感じました。そこで別のウインドウを開こうとしたところ、今度は本当にターミナル全体が反応しなくなりました。メニューを選べず、⌘N も、貼り付けも、キーの入力も効きません。Dock のアイコンの右クリックから新しいウインドウは開けたものの、そこでも入力ができませんでした。

ターミナルを強制終了すると、Mac から送っていた scp も止まります。それでも困らないのは、Pod 側に届いたファイルは残っていて、大きさを比べれば「届いていないファイル」と「途中で切れたファイル」だけを送り直せるからです。強制終了して開き直し、大きさが合わないファイルだけを送り直しました。

Last login: Wed Oct 21 07:47:28 on ttys006
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ % P=<SSH_PORT>; IP=<POD_IP>; K=~/.ssh/id_ed25519
cd /Volumes/KIOXIA/r2r2r-data/checkpoints/pi05_mecharm_teach_lora_v1/3999
ssh -p $P -i $K root@$IP "cd /workspace/ckpt/3999 && find . -type f -printf '%s %p\n'" > /tmp/remote_3999.txt
find . -type f | while read f; do s=$(stat -f %z "$f"); grep -qx "$s $f" /tmp/remote_3999.txt || echo "$f"; done > /tmp/todo_3999.txt
wc -l < /tmp/todo_3999.txt
cat /tmp/todo_3999.txt | xargs -P 8 -I{} scp -q -P $P -i $K {} root@$IP:/workspace/ckpt/3999/{}
echo "送信おわり"
      28

29ファイルのうち 28 が、大きさの合わないファイルでした。最初の送信で、合っていたのは1つだけです。

送っている間に、別のウインドウから Pod に届いた量を見ました。

Last login: Wed Oct 21 07:48:29 on ttys001
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ % ssh -p <SSH_PORT> -i ~/.ssh/id_ed25519 root@<POD_IP> "du -sh /workspace/ckpt/3999"
2.9G /workspace/ckpt/3999
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ %
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ % ssh -p <SSH_PORT> -i ~/.ssh/id_ed25519 root@<POD_IP> "du -sh /workspace/ckpt/3999"
3.3G /workspace/ckpt/3999
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ %

3分で 0.4GB、1分に約130MB です。前の回に6本同時で送ったときは1分に約400MB だったので、3分の1ほどの速さでした。上書き中のファイルは一度0から数え直されるため、この数字は実際の進み具合より小さめに出ます。

wc -l < /tmp/todo_3999.txt
cat /tmp/todo_3999.txt | xargs -P 8 -I{} scp -q -P $P -i $K {} root@$IP:/workspace/ckpt/3999/{}
echo "送信おわり"
      28
送信おわり
(base) shimazueiichi@shimadzueiichinoMacBook-Pro 3999 %

送り終わったのは 8:18 です。送り直しを始めた 7:50 から28分、最初に送り始めた 7:38 から数えると40分かかりました。最後に、29ファイルすべての大きさを Mac と Pod で比べました。前の回は「全体の大きさが 6.0G 前後になったら送り終わり」と判断して、途中で切れたファイルを見落としています。

(base) shimazueiichi@shimadzueiichinoMacBook-Pro 3999 % ssh -p $P -i $K root@$IP "cd /workspace/ckpt/3999 && find . -type f -printf '%s %p\n'" > /tmp/remote_3999.txt
find . -type f | while read f; do s=$(stat -f %z "$f"); grep -qx "$s $f" /tmp/remote_3999.txt || echo "不一致: $f"; done; echo "確認おわり"
確認おわり
(base) shimazueiichi@shimadzueiichinoMacBook-Pro 3999 %

推論サーバーは、teach_v1 の正規化の値を読み込んで起動した

Pod に入り直し、tmux の画面に戻ってサーバーを起動しました。

cd /workspace/openpi
mkdir -p assets/pi05_mecharm_teach_lora/local && cp -r /workspace/ckpt/3999/assets/local/mecharm_redblock_box_teach_v1 assets/pi05_mecharm_teach_lora/local/
uv run scripts/serve_policy.py policy:checkpoint --policy.config=pi05_mecharm_teach_lora --policy.dir=/workspace/ckpt/3999 2>&1 | tee /workspace/logs/serve.log

KIOXIA の lab/Log11/serve.log に持ち帰ったサーバーのログです。

INFO:root:Loading model...
INFO:2026-10-20 23:20:06,662:jax._src.xla_bridge:925: Unable to initialize backend 'rocm': module 'jaxlib.xla_extension' has no attribute 'GpuAllocatorConfig'
INFO:jax._src.xla_bridge:Unable to initialize backend 'rocm': module 'jaxlib.xla_extension' has no attribute 'GpuAllocatorConfig'
INFO:2026-10-20 23:20:06,664:jax._src.xla_bridge:925: Unable to initialize backend 'tpu': INTERNAL: Failed to open libtpu.so: libtpu.so: cannot open shared object file: No such file or directory
INFO:jax._src.xla_bridge:Unable to initialize backend 'tpu': INTERNAL: Failed to open libtpu.so: libtpu.so: cannot open shared object file: No such file or directory
INFO:absl:orbax-checkpoint version: 0.11.13
INFO:absl:Created BasePyTreeCheckpointHandler: use_ocdbt=True, use_zarr3=False, pytree_metadata_options=PyTreeMetadataOptions(support_rich_types=False), array_metadata_store=<orbax.checkpoint._src.metadata.array_metadata_store.Store object at 0x7c58b1a64910>
INFO:absl:Restoring checkpoint from /workspace/ckpt/3999/params.
INFO:absl:[thread=MainThread] Failed to get flag value for EXPERIMENTAL_ORBAX_USE_DISTRIBUTED_PROCESS_ID.
INFO:absl:[process=0] /jax/checkpoint/read/bytes_per_sec: 1.2 GiB/s (total bytes: 6.3 GiB) (time elapsed: 5 seconds) (per-host)
INFO:absl:Finished restoring checkpoint in 5.23 seconds from /workspace/ckpt/3999/params.
INFO:openpi.shared.download:Downloading gs://big_vision/paligemma_tokenizer.model to /root/.cache/openpi/big_vision/paligemma_tokenizer.model
INFO:tqdm_loggable.tqdm_logging:Progress on: -/4264023 rate:- remaining:? elapsed:00:00 postfix:-
INFO:tqdm_loggable.tqdm_logging:Progress on: 4.07MiB/4.07MiB rate:4,260,583.5iB/s remaining:00:00 elapsed:00:01 postfix:-
INFO:root:Loaded norm stats from /workspace/openpi/assets/pi05_mecharm_teach_lora/local/mecharm_redblock_box_teach_v1
INFO:root:Loaded norm stats from /workspace/ckpt/3999/assets/local/mecharm_redblock_box_teach_v1
INFO:root:Creating server (host: 7f6b9147d13a, ip: 172.16.48.2)
INFO:websockets.server:server listening on 0.0.0.0:8000
INFO:websockets.server:connection open
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 40588) opened
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 40588) closed
INFO:websockets.server:connection open
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 34182) opened
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 34182) closed
INFO:websockets.server:connection open
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 39180) opened
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 39180) closed
INFO:websockets.server:connection open
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 39460) opened
INFO:openpi.serving.websocket_policy_server:Connection from ('127.0.0.1', 39460) closed

Loaded norm stats from …/mecharm_redblock_box_teach_v1 の2行で、今回のお手本(teach_v1)から計算した正規化の値(関節の角度を学習しやすい範囲に直すための平均と幅)を読んだことが分かります。後半の connection open と closed の組は、Mac のクライアントが1回つなぐたびに出る行です。

安全範囲を今回のお手本から作るように、--raw-dir を付けた

Mac 側のクライアント run_policy_client.py は、アームへ送る角度を「学習データで通った関節の範囲 ±10°」に収めます(安全範囲)。この範囲を作るお手本のフォルダは、何も付けないと、前の回のお手本(scripted_v1)になっていました。前の回のお手本はブロックがほぼ同じ場所にあるので、土台 j0 の範囲が狭く、今回のお手本(j0 を −61.7° まで使う)の動きが途中で切られてしまいます。2つのお手本で範囲を計算して比べました。

mecharm_redblock_box_scripted_v1 20
  min [-42.4   1.3 -42.2 -13.7 -90.9 -40.6]
  max [ 85.8  89.2  20.4  22.5  57.3 -28.9]
mecharm_redblock_box_teach_v1 19
  min [-61.7   1.3 -35.7  -7.8 -88.2 -40.6]
  max [ 44.7  87.9  31.4  17.    0.4 -23.6]

前のお手本で作ると j0 の下限は −52°、今回のお手本なら −72° です。そのため --raw-dir に今回のお手本を指定して動かしました。下のログの最初の [SAFE] の行が、今回のお手本で作った範囲です。

たたんだ姿勢のままのドライランでは、予測はほとんど0だった

この記事のコード・ログ・データは、1ファイルずつ下に置いています。全文はリンク先にあります。

ファイルの一覧(17本)

01_sec05.txt ― たたんだ姿勢のままのドライランでは、予測はほとんど0だった・7,496字

02_trim2_action_state.txt ― 直した版 trim2 は、全ステップで action が「次のステップの state」になった・3,140字

03_check_dataset.py_teach_v1_FAIL_trim2_PASS.txt ― 学習の前の点検 check_dataset.py は、teach_v1 で FAIL、trim2 で PASS になった・8,241字

04_check_dataset.py_teach_v1_FAIL_trim2_PASS.txt ― 学習の前の点検 check_dataset.py は、teach_v1 で FAIL、trim2 で PASS になった・12,332字

05_eval_policy_offline.py.txt ― お手本との答え合わせ eval_policy_offline.py は、偽のサーバーで判定を確かめた・8,662字

06_sec17.txt ― 上カメラの写り方は、開始時の1枚目をお手本の最初のコマと比べて確かめる・5,201字

07_sec18.txt ― 16時26分に学習が終わり、同じ Pod で推論サーバーを起動した・4,001字

08_sec19.txt ― 写り方の確認は、アームがたたんだ姿勢のままだと「測れない」になった・5,252字

09_sec19.txt ― 写り方の確認は、アームがたたんだ姿勢のままだと「測れない」になった・4,383字

10_sec20.txt ― お手本との答え合わせは、166回の問い合わせで「止まり」が0回だった・14,044字

11_sec21.txt ― 実機の1回目(18:09)は、止まらずに下ろして閉じたが、ブロックの手前で空を握った・14,141字

12_sec23.txt ― 2回目と3回目(18:20・18:21)は、つかんだが持ち上げずに引きずり、箱の手前で離した・16,148字

13_sec24.txt ― 1秒分を全部動かすと、箱の位置まで運び、箱の前で離した・16,532字

14_sec25.txt ― 運ぶ間に手首 j4 が +18° 動き、肩で上げた分を打ち消していた・7,616字

15_sec28.txt ― この回で変えた3つのファイルの全文(run_policy_client.py・camera_align.py・build_demo_episodes.py)・19,530字

16_sec28.txt ― この回で変えた3つのファイルの全文(run_policy_client.py・camera_align.py・build_demo_episodes.py)・7,772字

17_sec28.txt ― この回で変えた3つのファイルの全文(run_policy_client.py・camera_align.py・build_demo_episodes.py)・19,711字

Pi(アームの中の小さなコンピュータ)でアームを動かす常駐プログラム(デーモン)を起動し、まずアームに何も送らない「ドライラン」で予測だけを見ました。ここから実機でアームを動かすまでのターミナルの記録です。

01_sec05.txt7,496字・101行・text
Last login: Wed Oct 21 08:21:34 on ttys005
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ % ssh -i ~/.ssh/id_rsa_pi ubuntu@192.168.2.1 'ss -ltn | grep 5555' || { ssh -i ~/.ssh/id_rsa_pi ubuntu@192.168.2.1 "setsid nohup python3 /home/ubuntu/mecharm_daemon.py </dev/null >>/home/ubuntu/daemon.log 2>&1 &"; sleep 5; ssh -i ~/.ssh/id_rsa_pi ubuntu@192.168.2.1 'tail -3 ~/daemon.log; ss -ltn | grep 5555'; }
[DAEMON 15:24:04] ✓ MyCobot 初期化完了
[DAEMON 15:24:04] startup_warmup angles=[-0.08, 92.54, 1.14, 1.75, -95.97, -29.26]
[DAEMON 15:24:04] ポート 5555 で待ち受け中...
LISTEN0      1                                 0.0.0.0:5555        0.0.0.0:*    
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ % cd ~/r2r2r-scripts
R=/Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_teach_v1/raw_episodes 
別のタブで開く保存

最初のドライラン(pi05_20261021_082212)は、アームが電源を入れたときのたたんだ姿勢(肩 j1 +92.5°、手首 j4 −96.0°)のままでした。お手本はすべて HOME(たたまずに立てた待機姿勢)から始まっているので、この姿勢は学習で見たことがありません。予測は手首を安全範囲の端まで戻す +6.0° のほかはほとんど0で、LOG341 と同じでした。1回目の推論は、サーバー側のコンパイルで 57 秒かかっています。

--execute --max-chunks 1 で起動し、最初の確認で h を押して HOME に戻しました。HOME からのドライラン(pi05_20261021_082512)では、土台 j0 を −方向に回し、肩 j1 を前に倒し、手首 j4 を下げる、ブロックへ腕を伸ばす向きの予測が出ています。ドライランではアームが動かないので、5回とも同じ画像と角度から予測しています。それでも予測の大きさが回ごとに違うのは、π0.5 の出力に毎回ばらつきがあるためです。

実機では7回の指令でブロックの近くまで来て、そこから動かなくなった

--execute で、1チャンク(1回の予測)ごとに Enter で確かめながら動かしました。チャンク 00〜05 の6回で、j1 は +5.1° から +61.8° まで、j4 は −5.0° から −75.1° まで進みました。1回の移動はどれも 3° 以内の誤差で届いています(arrival OK)。

チャンク 06 で動きが 1° 未満に落ち、そこから先は予測がほとんど0になりました。チャンク 09 で j1 が 1° 動いたのを最後に、指令は「動かす必要なし」(0.5° 未満)が続いています。ターミナルの記録はチャンク 14 までですが、log.jsonl にはチャンク 19 まで残っていて、最後に h で HOME に戻しています。チャンク 15〜19 の記録です(state はそのチャンクの予測を求めたときの実測角)。

チャンクstate(j0〜j5)送った目標(j0〜j5)実行届いたか
15
-33.9 +66.6 +16.9 +4.3 -75.8 -29.7
-33.9 +66.7 +16.8 +4.2 -76.0 -29.7
Enter(差が 0.5° 未満なので送らず)
—
16
-33.9 +66.6 +16.9 +4.3 -75.8 -29.7
-33.9 +66.8 +16.8 +4.2 -76.1 -29.7
Enter(差が 0.5° 未満なので送らず)
—
17
-33.9 +66.6 +16.9 +4.3 -75.8 -29.7
-33.8 +66.6 +16.8 +4.2 -76.0 -29.7
Enter(差が 0.5° 未満なので送らず)
—
18
-33.9 +66.6 +16.9 +4.3 -75.8 -29.7
-33.9 +66.7 +16.8 +4.3 -76.0 -29.7
Enter(差が 0.5° 未満なので送らず)
—
19
-33.9 +66.6 +16.9 +4.3 -75.8 -29.7
-33.9 +66.7 +16.8 +4.3 -76.1 -29.7
h(HOME に戻して終了)—

上のカメラが、各チャンクで AI に渡した画像を並べました。チャンク 06 以降、アームはブロックのすぐ近くで止まったままです。

π0.5 に渡した上カメラの画像20枚。チャンク00〜05でアームがブロックへ伸び、06以降は同じ姿勢のまま止まっている

お手本では、ブロックの真上に着いてから 1.5〜2 秒止まっていた

止まった姿勢(j0 −33.9°、j1 +65.7°、j2 +16.7°、j3 +4.1°、j4 −75.7°)が、お手本のどこに当たるかを調べました。19本それぞれで、この姿勢にいちばん近い瞬間(near t)と、その姿勢との差(dist、関節ごとの差の最大)を出しています。still はその瞬間から動かずにいたステップ数で、どの1本も 0 でした。いちばん近い瞬間は、どれも止まる直前のまだ動いているコマだったためで、止まっている区間は次の表で見ています。

# 実機で止まった姿勢に、お手本のどの瞬間がいちばん近いか (LOG358)
import numpy as np, glob, os
ROOT = os.environ.get("R2R2R_DATA", "/Volumes/KIOXIA/r2r2r-data")
os.chdir(ROOT + "/datasets/mecharm_redblock_box_teach_v1/raw_episodes")
cur = np.array([-33.90, 65.68, 16.72, 4.10, -75.74])   # 実機で止まった姿勢 j0..j4
for p in sorted(glob.glob("*/episode.npz")):
    d = np.load(p); s = d["state"]
    dist = np.abs(s[:, :5] - cur).max(1); i = dist.argmin()
    mv = np.abs(np.diff(s[:, :6], axis=0)).max(1)
    j = i
    while j < len(mv) and mv[j] < 0.3: j += 1
    g = s[:, 6]; gc = np.where(np.diff(g) != 0)[0]
    print(os.path.dirname(p)[-15:], "len", len(s), "near t", i, "dist %.1f" % dist[i], np.round(s[i, :5], 1), "g", g[i], "still", j - i, "gchg", gc[:3])
20261019_183454 len 208 near t 38 dist 4.6 [-33.8  61.1  14.2   4.3 -79. ] g 0.0 still 0 gchg [ 83 162]
20261019_191257 len 205 near t 124 dist 27.5 [ -8.   61.7 -10.8  11.2 -54.6] g 1.0 still 0 gchg [ 66 165]
20261019_191347 len 208 near t 125 dist 27.4 [ -7.7  61.8 -10.7  11.1 -54.8] g 1.0 still 0 gchg [ 67 165]
20261019_191441 len 241 near t 158 dist 27.6 [ -8.6  62.  -10.9  10.8 -54.9] g 1.0 still 0 gchg [ 94 199]
20261019_191541 len 211 near t 132 dist 27.3 [ -6.7  61.6 -10.5  11.2 -54.6] g 1.0 still 0 gchg [ 77 172]
20261019_191635 len 214 near t 135 dist 27.3 [ -6.6  61.5 -10.6  11.2 -54.8] g 1.0 still 0 gchg [ 74 175]
20261019_192343 len 200 near t 64 dist 7.2 [-27.6  58.5  19.3  -3.  -69.8] g 0.0 still 0 gchg [ 83 160]
20261019_192438 len 202 near t 58 dist 7.4 [-27.8  58.6  19.1  -3.3 -69.8] g 0.0 still 0 gchg [ 77 159]
20261019_192539 len 203 near t 54 dist 7.3 [-28.3  58.4  19.3  -3.2 -69.8] g 0.0 still 0 gchg [ 74 160]
20261019_192633 len 198 near t 54 dist 7.3 [-28.2  58.5  19.3  -3.2 -69.8] g 0.0 still 0 gchg [ 73 159]
20261019_193404 len 228 near t 135 dist 11.4 [-43.4  54.2  20.4   4.4 -74. ] g 1.0 still 0 gchg [ 91 186]
20261019_193459 len 234 near t 120 dist 11.2 [-45.   54.5  20.6   4.1 -73.8] g 1.0 still 0 gchg [ 83 191]
20261019_193617 len 216 near t 121 dist 11.2 [-44.6  54.4  20.6   4.1 -73.7] g 1.0 still 0 gchg [ 84 173]
20261019_193825 len 245 near t 150 dist 11.2 [-44.8  54.5  20.6   4.4 -73.8] g 1.0 still 0 gchg [ 94 202]
20261019_193932 len 212 near t 117 dist 11.2 [-44.7  54.5  20.6   4.  -73.6] g 1.0 still 0 gchg [ 80 169]
20261019_194818 len 183 near t 24 dist 41.2 [  7.3  25.9  18.   -2.7 -37.2] g 0.0 still 0 gchg [ 73 140]
20261019_194913 len 183 near t 24 dist 40.8 [  6.6  24.9  17.4  -3.9 -35.8] g 0.0 still 0 gchg [ 74 140]
20261019_195023 len 180 near t 24 dist 40.5 [  6.5  25.2  17.5  -3.2 -36.1] g 0.0 still 0 gchg [ 71 137]
20261019_195120 len 178 near t 23 dist 41.0 [  6.6  24.7  17.2  -2.8 -35.4] g 0.0 still 0 gchg [ 70 136]

いちばん近いのは 183454 の t=38(差 4.6°)と、192343〜192633 の4本(差 7.2〜7.4°)です。どちらもブロックの真上に来たあたりで、つかむ前です。その前後の動きを 0.3 秒おきに並べました。

# 真上に着いたあたりの動きを 0.3 秒おきに並べる (LOG358)
import numpy as np, os
ROOT = os.environ.get("R2R2R_DATA", "/Volumes/KIOXIA/r2r2r-data")
os.chdir(ROOT + "/datasets/mecharm_redblock_box_teach_v1/raw_episodes")
for r in ["run_0001_20261019_192343", "run_0001_20261019_183454"]:
    d = np.load(r + "/episode.npz"); s = d["state"]; a = d["actions"]
    print(r)
    for t in range(30, 95, 3):
        print(t, np.round(s[t, :6], 1), "g", s[t, 6], " a-s max %.2f" % np.abs(a[t, :6] - s[t, :6]).max())
run_0001_20261019_192343
30 [-10.   22.7   7.8  -2.7 -26.5 -28.7] g 0.0  a-s max 2.83
33 [-14.4  29.7   9.9  -3.1 -35.5 -28.6] g 0.0  a-s max 3.07
36 [-17.9  36.6  12.1  -2.5 -44.5 -28.5] g 0.0  a-s max 2.99
39 [-20.8  43.6  14.2  -2.6 -53.5 -28.4] g 0.0  a-s max 3.01
42 [-24.2  50.5  16.2  -3.  -62.5 -28.3] g 0.0  a-s max 2.96
45 [-26.8  55.8  18.2  -2.8 -68.1 -28.3] g 0.0  a-s max 1.32
48 [-27.6  58.1  19.6  -2.4 -69.3 -28.3] g 0.0  a-s max 0.05
51 [-27.6  58.1  19.7  -2.4 -69.3 -28.3] g 0.0  a-s max 0.03
54 [-27.6  58.1  19.7  -2.4 -69.3 -28.2] g 0.0  a-s max 0.03
57 [-27.6  58.1  19.7  -2.5 -69.4 -28.2] g 0.0  a-s max 0.03
60 [-27.6  58.1  19.7  -2.5 -69.5 -28.2] g 0.0  a-s max 0.27
63 [-27.6  58.1  19.7  -2.6 -70.3 -28.1] g 0.0  a-s max 0.52
66 [-27.6  59.6  18.2  -3.9 -68.1 -28.1] g 0.0  a-s max 0.87
69 [-27.6  61.2  16.7  -5.3 -65.5 -28. ] g 0.0  a-s max 0.87
72 [-27.7  62.8  15.1  -6.7 -62.9 -28. ] g 0.0  a-s max 0.87
75 [-27.7  63.7  14.2  -7.5 -61.3 -27.9] g 0.0  a-s max 0.00
78 [-27.7  63.7  14.2  -7.5 -61.3 -27.9] g 0.0  a-s max 0.03
81 [-27.7  63.7  14.2  -7.6 -61.2 -27.9] g 0.0  a-s max 0.02
84 [-27.7  63.7  14.1  -7.6 -61.2 -27.9] g 1.0  a-s max 0.04
87 [-27.7  63.7  14.1  -7.6 -61.3 -27.9] g 1.0  a-s max 0.04
90 [-27.7  63.7  14.1  -7.6 -61.4 -27.9] g 1.0  a-s max 0.04
93 [-27.7  63.7  14.   -7.6 -61.6 -27.9] g 1.0  a-s max 0.04
run_0001_20261019_183454
30 [-23.1  43.7  10.6   4.6 -56.2 -29.1] g 0.0  a-s max 3.01
33 [-26.9  50.3  12.    3.7 -65.2 -29.1] g 0.0  a-s max 2.94
36 [-31.2  56.7  13.4   3.9 -73.9 -29.1] g 0.0  a-s max 2.82
39 [-34.9  63.2  14.6   4.5 -81.2 -29.2] g 0.0  a-s max 2.23
42 [-36.4  66.4  15.8   4.6 -84.  -29.2] g 0.0  a-s max 0.45
45 [-36.4  66.7  16.5   4.4 -84.  -29.2] g 0.0  a-s max 0.03
48 [-36.4  66.7  16.5   4.3 -84.  -29.2] g 0.0  a-s max 0.00
51 [-36.4  66.7  16.5   4.3 -84.  -29.2] g 0.0  a-s max 0.03
54 [-36.4  66.7  16.5   4.3 -84.1 -29.2] g 0.0  a-s max 0.00
57 [-36.4  66.7  16.5   4.3 -84.1 -29.2] g 0.0  a-s max 0.00
60 [-36.4  66.7  16.5   4.3 -84.3 -29.2] g 0.0  a-s max 0.49
63 [-36.4  66.7  16.5   4.3 -85.7 -29.2] g 0.0  a-s max 1.25
66 [-36.4  70.8  14.2   4.1 -86.2 -29.2] g 0.0  a-s max 1.41
69 [-36.4  75.   11.7   3.9 -86.8 -29.2] g 0.0  a-s max 1.41
72 [-36.4  79.2   9.3   3.6 -87.4 -29.2] g 0.0  a-s max 1.41
75 [-36.4  81.6   7.9   3.5 -87.7 -29.3] g 0.0  a-s max 0.00
78 [-36.4  81.6   7.9   3.5 -87.7 -29.3] g 0.0  a-s max 0.00
81 [-36.4  81.6   7.9   3.5 -87.7 -29.3] g 0.0  a-s max 0.03
84 [-36.4  81.6   7.9   3.5 -87.7 -29.4] g 1.0  a-s max 0.02
87 [-36.4  81.6   7.9   3.5 -87.8 -29.4] g 1.0  a-s max 0.02
90 [-36.4  81.6   7.9   3.5 -87.9 -29.4] g 1.0  a-s max 0.02
93 [-36.4  81.6   7.9   3.5 -87.9 -29.5] g 1.0  a-s max 0.02

192343 では、t=45 から t=60 まで、関節の角度がまったく変わっていません(a-s max は、そのステップの目標と実測の差の最大。0.05° 前後)。その後 t=63〜72 で下ろし、t=75〜84 でまた止まってからグリッパーを閉じています(g が 0 から 1 へ)。183454 も、t=45〜57 で止まってから下ろしています。

π0.5 は1回に10ステップ(1秒)先までの動きを返します。真上での停止は 1.5〜2 秒あり、1秒より長いので、停止の途中のコマから見た「1秒先の正解」は、ずっと止まったままです。しかも停止の間は、上カメラの画像も関節の角度も変わりません。同じ入力に対して、正解が「止まる」になっているコマが何枚も続き、「下ろし始める」になっているコマはその最後の数枚だけです。実機のアームは真上に着いたあと、その「止まる」側の答えを返し続けたことになります。

この関係を、お手本1本で動かして見られるようにしました。つまみを動かすと、その位置から1秒先までの枠が出ます。

止まっているステップは、お手本全体の 40% だった

19本全体で、止まっているステップ(6関節すべてで目標と実測の差が 0.3° 未満、かつグリッパーの状態が変わらない)を数えました。

# お手本 19 本の「止まっているステップ」の割合と、5 ステップ以上続く停止の長さ (LOG358)
import numpy as np, glob, os
ROOT = os.environ.get("R2R2R_DATA", "/Volumes/KIOXIA/r2r2r-data")
os.chdir(ROOT + "/datasets/mecharm_redblock_box_teach_v1/raw_episodes")
tot = still = 0; runs = []
for p in sorted(glob.glob("*/episode.npz")):
    d = np.load(p); s = d["state"]; a = d["actions"]
    m = (np.abs(a[:, :6] - s[:, :6]).max(1) < 0.3) & (a[:, 6] == s[:, 6])
    tot += len(s); still += m.sum()
    r = 0; best = []
    for x in m:
        if x: r += 1
        else:
            if r >= 5: best.append(r)
            r = 0
    if r >= 5: best.append(r)
    runs.append(best)
print("still steps", still, "/", tot, "%.0f%%" % (100 * still / tot))
for p, b in zip(sorted(glob.glob("*/episode.npz")), runs):
    print(os.path.dirname(p), "still runs (>=5 steps):", b)
still steps 1594 / 3949 40%
run_0001_20261019_183454 still runs (>=5 steps): [10, 17, 9, 20, 10, 10]
run_0001_20261019_191257 still runs (>=5 steps): [10, 10, 19, 16, 10, 10]
run_0001_20261019_191347 still runs (>=5 steps): [10, 10, 9, 19, 14, 10, 10]
run_0001_20261019_191441 still runs (>=5 steps): [10, 20, 10, 9, 19, 6, 10, 10, 10]
run_0001_20261019_191541 still runs (>=5 steps): [10, 20, 9, 19, 12, 10, 10]
run_0001_20261019_191635 still runs (>=5 steps): [10, 19, 10, 19, 16, 10, 10]
run_0001_20261019_192343 still runs (>=5 steps): [10, 16, 9, 20, 10, 10]
run_0001_20261019_192438 still runs (>=5 steps): [10, 16, 9, 20, 7, 10, 10]
run_0001_20261019_192539 still runs (>=5 steps): [10, 16, 10, 19, 7, 10, 10]
run_0001_20261019_192633 still runs (>=5 steps): [10, 12, 9, 20, 6, 10, 10]
run_0001_20261019_193404 still runs (>=5 steps): [10, 19, 9, 19, 5, 10, 10]
run_0001_20261019_193459 still runs (>=5 steps): [10, 20, 9, 19, 7, 20, 10]
run_0001_20261019_193617 still runs (>=5 steps): [10, 20, 9, 19, 10, 10]
run_0001_20261019_193825 still runs (>=5 steps): [10, 19, 10, 9, 19, 19, 10, 10]
run_0001_20261019_193932 still runs (>=5 steps): [10, 19, 9, 19, 10, 10]
run_0001_20261019_194818 still runs (>=5 steps): [10, 16, 9, 20, 10, 10]
run_0001_20261019_194913 still runs (>=5 steps): [10, 16, 9, 19, 10, 10]
run_0001_20261019_195023 still runs (>=5 steps): [10, 13, 10, 19, 10, 10]
run_0001_20261019_195120 still runs (>=5 steps): [10, 13, 10, 19, 10, 10]

3,949 ステップのうち 1,594(40%)が止まっていて、1本の中に 1〜2 秒の停止が 6〜9 回あります。お手本を作るスクリプト build_demo_episodes.py には、もともと止まっている区間を詰める処理がありました。ただし条件が「2.0 秒以上」だったため、1.5〜2 秒の停止はすべて残っていました(あとで Claude Code が報告した内容)。

手で教えた要所を再生してお手本を録る方法(LOG349・LOG352)では、アームは要所ごとに「着いたか」を確かめ、グリッパーの開け閉めのあとは2秒待ちます。再生を確実にするための待ちが、そのままお手本の中身になっていました。

止まっている時間を詰める1回目(trim)は、codex のレビューで NG になった

直し方は、お手本から途中の停止を「先頭の2ステップだけ残して」削り、同じ条件で学習し直すことにしました。「止まっていたら少し押し出す」のような、推論の側での手当てはしていません。

データを作り直すプログラムは Claude Code が build_demo_episodes.py に足しました(オプション --trim-mid-idle)。元のお手本(teach_v1)は読むだけで、新しい名前(teach_v1_trim)で出しています。Claude Code の報告です。

データ作成まで完了しました。学習設定には手を付けていません。

  1. 修正内容

  pi05/build_demo_episodes.py に --trim-mid-idle を追加(既定では何もしない)。

  - MID_IDLE_EPS_DEG = 0.3 / MID_IDLE_KEEP_STEPS = 2
  - mid_idle_keep_mask(state, actions) — 停止ステップ = 6関節すべて abs(action - 
  state) < 0.3 かつ action[6] == state[6]。連続する停止は先頭2ステップだけ残す
  - 既存トリムの直後、フレーム抽出の前に適用。frames/ はトリム後の t
  に対して選ぶので枚数は常にステップ数と一致(連番も振り直し)
  - グリッパー切替ステップは action[6] != state[6]
  なので、定義上そもそも削除対象に入りません
  - 各エピソードの先頭・末尾は明示的に残す(両端の state を変えないため)

  原因について1点補足です。既存の停止詰め処理は前からありましたが、しきい値が
  IDLE_MAX_SEC = 2.0 秒で、今回の 1.5〜2 秒の停止(19〜20ステップ)がしきい値のす
  ぐ下に収まって残っていたのが実態でした。

  2. 出力

  datasets/mecharm_redblock_box_teach_v1_trim/(19本 + index.json +
  README.md)。teach_v1 は読み取りのみで、mtime も Oct 19
  のまま・3,949ステップ・19本のままです。

  3. 確かめた結果

  ┌────────────────┬────────────────┬─────────────────────────────┐
  │      項目      │       前       │             後              │
  ├────────────────┼────────────────┼─────────────────────────────┤
  │ 合計ステップ   │ 3,949          │ 2,635(66.7%、1,314削除)   │
  ├────────────────┼────────────────┼─────────────────────────────┤
  │ 停止の割合     │ 1,594(40.4%) │ 280(10.6%)                │
  ├────────────────┼────────────────┼─────────────────────────────┤
  │ 再生時間       │ 394.9秒        │ 263.5秒                     │
  ├────────────────┼────────────────┼─────────────────────────────┤
  │ 停止の最長連続 │ 20             │ 2                           │
  ├────────────────┼────────────────┼─────────────────────────────┤
  │ グリッパー切替 │ 各2回          │ 各2回(19本すべて一致)     │
  ├────────────────┼────────────────┼─────────────────────────────┤
  │ 両端の state   │ —              │ 19本すべて完全一致(7次元) │
  └────────────────┴────────────────┴─────────────────────────────┘

  エピソードごとのステップ数は README の表に全19本入れました(例: 208→144,
  245→155, 178→118)。停止が3ステップ以上続く箇所は0件(最長2 = 設定どおり)。

  action の整合性(max abs(action[t] - state[t+1]))は、全体の最大が 2.275 → 
  2.275 deg で変わりません。最悪値は元データ由来の1本(191441)で、詰めたことで悪
  化していません。ただしエピソード単位では停止の継ぎ目で最大 0.7 deg
  ほど増えます(例: 0.55→1.26)。停止区間中の微小ドリフトが継ぎ目で1ステップに集
  まるためで、これは仕様上避けられない分です。気になる水準なら MID_IDLE_EPS_DEG
  を下げる余地があります。

  4. 変更していないこと

  - 既定動作の非改変を実測で確認: オプション未指定で1本再生成し、t / state /
  actions が完全一致、frames 208枚の md5 も全一致(確認用データセットは削除済み)
  - meta.json の steps_before_mid_trim が teach_v1 の元ステップ数と19本すべて一致
  → 詰める前の段階までは teach_v1
  と同一に再生成できており、前後比較の土台が妥当であることの裏付けになっています
  - 既存の IDLE_* 定数とロジック、FPS / IMG_LONG / 採否ゲート(LOG352分)は非改変
  - 関節・グリッパー・姿勢・実機制御フローには触っていません(Mac側オフラインのデ
  ータ生成のみで、実機へ指令を出す経路を含まない)ため、物理リスクは低と判断して
  います
  - send_coords() 不使用、FKテーブル非参照、台帳CSV非改変、git commit/push なし

  作業ログ: ~/r2r2r-scripts/logs/20261021_0839.md

  なお git diff には私の変更以外に**既存の未コミット分(LOG352 
  の採否ゲート関連)**も含まれています。これは私がファイルを開いた時点で作業ツリ
  ーにあったもので、今回は触っていません。コミットする際は個別ファイル指定でも混
  ざるのでご注意ください。

Claude 側でも、削ったあとの 2,635 ステップが元のどのステップに当たるかを調べ、関節の角度と画像(MD5 という中身から計算する値)が19本すべてで一致することを確かめました。

# trim の 19 本が、元のお手本のどのステップを残したかを確かめる (state・actions・画像の MD5) (LOG358)
import numpy as np, os, hashlib
ROOT = os.environ.get("R2R2R_DATA", "/Volumes/KIOXIA/r2r2r-data")
os.chdir(ROOT + "/datasets")
A = "mecharm_redblock_box_teach_v1/raw_episodes"; B = "mecharm_redblock_box_teach_v1_trim/raw_episodes"
def md5(p): return hashlib.md5(open(p, 'rb').read()).hexdigest()
bad = 0; tot_o = tot_t = 0
for r in sorted(os.listdir(A)):
    if not os.path.exists(f"{A}/{r}/episode.npz"): continue
    o = np.load(f"{A}/{r}/episode.npz"); t = np.load(f"{B}/{r}/episode.npz")
    fo = sorted(os.listdir(f"{A}/{r}/frames")); ft = sorted(os.listdir(f"{B}/{r}/frames"))
    assert len(ft) == len(t["t"]), (r, len(ft), len(t["t"]))
    idx = [int(np.argmin(np.abs(o["t"] - x))) for x in t["t"]]
    ok_state = np.allclose(o["state"][idx], t["state"]) and np.allclose(o["actions"][idx], t["actions"])
    ho = {md5(f"{A}/{r}/frames/{f}"): i for i, f in enumerate(fo)}
    fm = [ho.get(md5(f"{B}/{r}/frames/{f}"), -1) for f in ft]
    ok_frames = fm == idx
    s = t["state"]; a = t["actions"]
    m = (np.abs(a[:, :6] - s[:, :6]).max(1) < 0.3) & (a[:, 6] == s[:, 6])
    run = 0; mx = 0
    for x in m:
        run = run + 1 if x else 0; mx = max(mx, run)
    tot_o += len(o["t"]); tot_t += len(t["t"])
    if not (ok_state and ok_frames): bad += 1
    print(r[-15:], len(o["t"]), "->", len(t["t"]), "state一致", ok_state, "画像一致", ok_frames, "停止最長", mx, "grip変化", int((np.diff(s[:, 6]) != 0).sum()))
print("total", tot_o, "->", tot_t, "不一致エピソード", bad)
20261019_183454 208 -> 144 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_191257 205 -> 142 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_191347 208 -> 140 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_191441 241 -> 155 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_191541 211 -> 135 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_191635 214 -> 134 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_192343 200 -> 137 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_192438 202 -> 134 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_192539 203 -> 135 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_192633 198 -> 135 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_193404 228 -> 160 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_193459 234 -> 153 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_193617 216 -> 150 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_193825 245 -> 155 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_193932 212 -> 147 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_194818 183 -> 120 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_194913 183 -> 121 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_195023 180 -> 120 state一致 True 画像一致 True 停止最長 2 grip変化 2
20261019_195120 178 -> 118 state一致 True 画像一致 True 停止最長 2 grip変化 2
total 3949 -> 2635 不一致エピソード 0

ここで学習に進むつもりでした。ただ、この確認は「どのステップを残したか」を見ただけで、Claude Code の報告と同じ観点です。学習には8時間と約5ドル(約790円)かかるので、別の AI の codex に、実装とデータを読んでもらいました。結果は NG でした。

**現状のまま約8時間の学習へ進むのは勧めません。** 画像の対応は正しい一方、削除した継ぎ目の action 不整合と、グリッパー切替直前の削除を実データで確認しました。

コード・README・`convert_to_lerobot.py` を読み、元データと trim データ19本を読み取り専用で比較しました。ファイルの変更・再生成はしていません。README の「すべて満たしている」は検証対象の記述として扱いました。

以下、行番号は `build_demo_episodes.py` のものです。

| 項目 | 判定 | 確認結果・修正案 |
|---|---|---|
| **A1 画像と state・action の対応** | ✅ OK | 289・297行で同じマスクを適用し、300〜305行で残った時刻から画像を選んでいます。19本すべてで state・actions が元データの保持行と完全一致し、画像も対応する元JPEGと全枚ハッシュ一致しました。 |
| **A2 action[t] ≈ state[t+1]** | ❌ NG | **297行**で削除前の action をそのまま保持しています。削除後の127継ぎ目のうち80箇所で誤差が0.3°以上、19箇所で1°超。最大2.275°です。**最終マスク適用後に `actions = np.concatenate([state[1:], state[-1:]], axis=0)` として再計算**してください。継ぎ目の移動量自体が適切かも確認が必要です。 |
| **A3 ゆっくりした動き出しの保護** | ⚠️ 要注意 | **187〜198行**は指定された停止定義には忠実ですが、微小な移動と本当の停止を区別できません。再現例では、毎ステップ0.2°ずつ動く12ステップが `[0,1,11]` の3ステップまで削られます。実データでも新しい継ぎ目の最大累積ずれは2.275°でした。連続区間内の姿勢の変動幅にも上限を設けるなど、追加条件が必要です。 |
| **A4 グリッパー切替前後** | ❌ NG | 切替ステップそのものは38回すべて保持。しかし**198行**で、**38回すべての切替直前の1ステップが削除**されています。直後は保持されています。切替行 `i` と `i-1, i+1` を明示的に保護してください。既存の停止処理にも同じ保護が必要です。 |
| **A5 最初・最後の保持** | ✅ OK※ | 202〜204行で保護され、19本すべてで teach_v1 の先頭・末尾 state と完全一致。ただし、保護対象は**既存の停止処理を通過した後の両端**です。生の記録の末尾は既存処理で失われる可能性があります。 |
| **A6 既存処理との二重削除** | ⚠️ 要注意 | **273〜297行**で二段階に削ります。既存処理は両端専用ではなく、途中の停止も対象です。長い停止は「先頭10ステップ→先頭2ステップ」とさらに短縮されます。重複した行の削除ではありませんが、境界保護や action 再計算は両処理をまとめて考える必要があります。 |
| **B1 未指定時の互換性** | ⚠️ 要注意 | 今回の停止オプションだけなら、未指定時は配列・画像の処理を変えません。ただし**342〜344・354〜355行**でメタデータと index に項目が増えるため、出力全体の完全一致ではありません。また Git HEAD との差分には採否条件の変更もあり、「変更前」との全面的な互換性は断言できません。 |
| **B2 teach_v1 の保護** | ⚠️ 要注意 | README の作成コマンドなら出力先は trim で、teach_v1 への書き込みはありません。そもそも入力は teach_v1 ではなく元の run 記録です。ただし**371行**に出力先の保護がなく、`--dataset mecharm_redblock_box_teach_v1 --force` なら**311行**で元エピソードを削除します。trim 指定時は元データセット名・同一パスを拒否するガードを追加してください。 |
| **B3 後段の読み込み形式** | ✅ OK | 19本すべてで `t[N]`、`state[N,7]`、`actions[N,7]`、画像枚数、`meta.steps` の整合を確認しました。変換コードはこのキーと形を読みます。LeRobot 環境での変換実行は未実施です。 |
| **D6 マウント確認** | ❌ NG | 書き込み前の呼び出しはありますが、**82〜84行**は `DATA_ROOT.exists()` だけです。未マウントでもローカルに同名ディレクトリが残れば通過します。**`Path("/Volumes/KIOXIA").is_mount()` などでマウント自体を確認し、失敗時に終了**してください。 |

README の「全体の最大値が2.275°で変わらないので、悪化していない」という評価には注意が必要です。新しい継ぎ目127箇所のうち、**113箇所で、その元の隣接関係より誤差が増加**しています。例えば `run_0001_20261019_191441` の元インデックス69→78の継ぎ目は、0°から2.275°に増えています。全体最大値だけでは、この悪化が隠れます。

また、**337行の `t` は削除前の時間間隔を残します**。後段の変換コードは `t` を使わず10Hzで並べるため読み込みはできますが、圧縮後の時刻として扱うなら `np.arange(N) / FPS` に振り直し、元の時刻は別キーで保存するのが明確です。

学習前に、少なくとも次を直してください。

- 削除後の action を再計算し、継ぎ目の移動量を検証する。
- グリッパー切替前後を保護する。
- 微小移動を削りすぎない条件を追加する。
- マウント確認と teach_v1 の出力先保護を追加する。

**修正後に19本を再生成・再検証してから学習へ進む**のが妥当です。画像対応と形式は確認できていますが、現状は action の意味が継ぎ目で崩れています。

いちばん重いのは A2 です。お手本の「正解(action)」は、もともと「0.1 秒後の実測の角度」です。停止の途中を削ると、削った区間の前のステップの正解は、削られた先の角度のままになり、次に残ったステップの角度と食い違います。停止中にもアームはわずかにずれ続けていたので(A3)、その分が継ぎ目の1か所にまとまり、最大 2.3° の食い違いになっていました。Claude の確認は、対応関係だけを見ていて、継ぎ目での正解の意味までは見ていませんでした。

直す内容は次のとおりにしました。A2 の直し方だけ codex の案から変えています。codex は action の7列すべてを state から作り直す案でしたが、関節の6列だけを作り直し、グリッパーの列は元のまま残しました。グリッパーを開け閉めするタイミングを、1ステップでも動かさないためです。

指摘直し方
A2 継ぎ目で action が「0.1 秒後の state」とずれる
削ったあとに actions[t, :6] = state[t+1, :6] で作り直す(グリッパーの列は元のまま)
A3 ゆっくり動いている区間まで削る
停止区間の最初の角度から 0.5° 以上ずれたら、そこで区間を切る
A4 グリッパーを切り替える直前の1ステップを削る
切り替えのステップ i の前後(i−1, i, i+1)を必ず残す
D6 マウントの確認が「フォルダがあるか」だけ
Path("/Volumes/KIOXIA").is_mount() で確かめる
B2 元のデータセットを上書きできてしまう
出力先が既存のデータセットなら拒否する
t(時刻)が削る前の間隔のまま
np.arange(N) / FPS に振り直し、元の時刻は t_orig に残す

直した版 trim2 は、全ステップで action が「次のステップの state」になった

Claude Code の報告です。前の版(trim)は消さずに、teach_v1_trim2 という新しい名前で出しています。

02_trim2_action_state.txt3,140字・70行・text
6件すべて直して teach_v1_trim2 を作りました。trim は消していません。

  修正内容

  ┌─────┬─────────────────────┬───────────────────────────────────────────────┐
  │  #  │        指摘         │                     対応                      │
  ├─────┼─────────────────────┼───────────────────────────────────────────────┤
  │     │ 低速移動を停止と誤  │ MID_IDLE_DRIFT_DEG = 0.5。区間先頭 state      │
別のタブで開く保存

Claude 側でも、Claude Code とは別のやり方で確かめました。元のお手本の時刻(t_orig)から対応を取り直し、関節の角度・グリッパーの action・作り直した action・時刻・画像を見ています。グリッパーの切り替えは、「action が切り替わったステップ」と「state が切り替わったステップ」の両方で数えました。

# trim2 を元のお手本と突き合わせる: state・グリッパーの action・作り直した action・t・画像・継ぎ目・グリッパー切り替えの前後 (LOG358)
import numpy as np, os, hashlib
ROOT = os.environ.get("R2R2R_DATA", "/Volumes/KIOXIA/r2r2r-data")
os.chdir(ROOT + "/datasets")
A = "mecharm_redblock_box_teach_v1/raw_episodes"; B = "mecharm_redblock_box_teach_v1_trim2/raw_episodes"
def md5(p): return hashlib.md5(open(p, 'rb').read()).hexdigest()
tot = 0; issues = []; jumps = []; grip_ok = 0; grip_n = 0
for r in sorted(os.listdir(A)):
    if not os.path.exists(f"{A}/{r}/episode.npz"): continue
    o = np.load(f"{A}/{r}/episode.npz"); t = np.load(f"{B}/{r}/episode.npz")
    idx = np.array([int(np.argmin(np.abs(o["t"] - x))) for x in t["t_orig"]]); tot += len(idx)
    if not np.allclose(o["state"][idx], t["state"]): issues.append((r, "state"))
    if not np.allclose(o["actions"][idx, 6], t["actions"][:, 6]): issues.append((r, "grip action"))
    if not np.allclose(t["actions"][:-1, :6], t["state"][1:, :6]): issues.append((r, "action再計算"))
    if not np.allclose(t["t"], np.arange(len(idx)) / 10): issues.append((r, "t"))
    ft = sorted(os.listdir(f"{B}/{r}/frames")); fo = sorted(os.listdir(f"{A}/{r}/frames"))
    if len(ft) != len(idx) or any(md5(f"{B}/{r}/frames/{ft[k]}") != md5(f"{A}/{r}/frames/{fo[idx[k]]}") for k in range(len(idx))):
        issues.append((r, "frames"))
    for k in np.where(np.diff(idx) > 1)[0]:
        jumps.append(np.abs(t["state"][k + 1, :6] - t["state"][k, :6]).max())
    so = o["state"][:, 6]; ao = o["actions"][:, 6]
    rows = set(np.where(ao != so)[0]) | set(np.where(np.diff(so) != 0)[0] + 1)   # action の切り替え行と state の切り替え行
    keep = set(idx.tolist())
    for i in sorted(rows):
        grip_n += 1
        need = [j for j in (i - 1, i, i + 1) if 0 <= j < len(so)]
        if all(j in keep for j in need): grip_ok += 1
        else: issues.append((r[-15:], f"grip近傍 {i} 欠け {[j for j in need if j not in keep]}"))
print("total", tot, "seams", len(jumps), "seam max %.3f" % max(jumps), "seam>1deg", sum(j > 1 for j in jumps))
print("grip rows", grip_n, "ok", grip_ok)
print("issues", len(issues))
for x in issues: print(" ", x)
total 2717 seams 161 seam max 2.275 seam>1deg 11
grip rows 76 ok 38
issues 38
  ('20261019_183454', 'grip近傍 83 欠け [np.int64(82)]')
  ('20261019_183454', 'grip近傍 162 欠け [np.int64(161)]')
  ('20261019_191257', 'grip近傍 66 欠け [np.int64(65)]')
  ('20261019_191257', 'grip近傍 165 欠け [np.int64(164)]')
  ('20261019_191347', 'grip近傍 67 欠け [np.int64(66)]')
  ('20261019_191347', 'grip近傍 165 欠け [np.int64(164)]')
  ('20261019_191441', 'grip近傍 94 欠け [np.int64(93)]')
  ('20261019_191441', 'grip近傍 199 欠け [np.int64(198)]')
  ('20261019_191541', 'grip近傍 77 欠け [np.int64(76)]')
  ('20261019_191541', 'grip近傍 172 欠け [np.int64(171)]')
  ('20261019_191635', 'grip近傍 74 欠け [np.int64(73)]')
  ('20261019_191635', 'grip近傍 175 欠け [np.int64(174)]')
  ('20261019_192343', 'grip近傍 83 欠け [np.int64(82)]')
  ('20261019_192343', 'grip近傍 160 欠け [np.int64(159)]')
  ('20261019_192438', 'grip近傍 77 欠け [np.int64(76)]')
  ('20261019_192438', 'grip近傍 159 欠け [np.int64(158)]')
  ('20261019_192539', 'grip近傍 74 欠け [np.int64(73)]')
  ('20261019_192539', 'grip近傍 160 欠け [np.int64(159)]')
  ('20261019_192633', 'grip近傍 73 欠け [np.int64(72)]')
  ('20261019_192633', 'grip近傍 159 欠け [np.int64(158)]')
  ('20261019_193404', 'grip近傍 91 欠け [np.int64(90)]')
  ('20261019_193404', 'grip近傍 186 欠け [np.int64(185)]')
  ('20261019_193459', 'grip近傍 83 欠け [np.int64(82)]')
  ('20261019_193459', 'grip近傍 191 欠け [np.int64(190)]')
  ('20261019_193617', 'grip近傍 84 欠け [np.int64(83)]')
  ('20261019_193617', 'grip近傍 173 欠け [np.int64(172)]')
  ('20261019_193825', 'grip近傍 94 欠け [np.int64(93)]')
  ('20261019_193825', 'grip近傍 202 欠け [np.int64(201)]')
  ('20261019_193932', 'grip近傍 80 欠け [np.int64(79)]')
  ('20261019_193932', 'grip近傍 169 欠け [np.int64(168)]')
  ('20261019_194818', 'grip近傍 73 欠け [np.int64(72)]')
  ('20261019_194818', 'grip近傍 140 欠け [np.int64(139)]')
  ('20261019_194913', 'grip近傍 74 欠け [np.int64(73)]')
  ('20261019_194913', 'grip近傍 140 欠け [np.int64(139)]')
  ('20261019_195023', 'grip近傍 71 欠け [np.int64(70)]')
  ('20261019_195023', 'grip近傍 137 欠け [np.int64(136)]')
  ('20261019_195120', 'grip近傍 70 欠け [np.int64(69)]')
  ('20261019_195120', 'grip近傍 136 欠け [np.int64(135)]')

報告と1か所、食い違いがありました。Claude Code は「38回すべてで i−1, i, i+1 が残っている」と報告しています。これは、state のグリッパーが変わったステップを「切り替え」と数えた結果です。codex が指摘した「指令(action)が切り替わったステップ」で数えると、その直前の1ステップは、38回すべてで削られたままでした。183454 の閉じる場面で確かめました。

72 state_g 0.0 act_g 0.0 残る [-36.38  79.24   9.25   3.63 -87.39 -29.25]
73 state_g 0.0 act_g 0.0 残る [-36.38  80.65   8.43   3.56 -87.59 -29.25]
74 state_g 0.0 act_g 0.0 残る [-36.38  81.56   7.91   3.51 -87.71 -29.26]
75 state_g 0.0 act_g 0.0 残る [-36.38  81.56   7.91   3.51 -87.71 -29.26]
76 state_g 0.0 act_g 0.0 削除 [-36.38  81.56   7.91   3.51 -87.71 -29.26]
77 state_g 0.0 act_g 0.0 削除 [-36.38  81.56   7.91   3.51 -87.71 -29.26]
78 state_g 0.0 act_g 0.0 削除 [-36.38  81.56   7.91   3.51 -87.71 -29.26]
79 state_g 0.0 act_g 0.0 削除 [-36.38  81.56   7.91   3.51 -87.71 -29.26]
80 state_g 0.0 act_g 0.0 削除 [-36.38  81.56   7.91   3.51 -87.71 -29.26]
81 state_g 0.0 act_g 0.0 削除 [-36.38  81.56   7.91   3.51 -87.71 -29.28]
82 state_g 0.0 act_g 0.0 削除 [-36.38  81.56   7.91   3.51 -87.71 -29.31]
83 state_g 0.0 act_g 1.0 残る [-36.38  81.56   7.91   3.51 -87.71 -29.34]
84 state_g 1.0 act_g 1.0 残る [-36.38  81.56   7.91   3.51 -87.72 -29.36]
85 state_g 1.0 act_g 1.0 残る [-36.38  81.56   7.91   3.5  -87.74 -29.37]
86 state_g 1.0 act_g 1.0 削除 [-36.38  81.56   7.91   3.5  -87.77 -29.38]
87 state_g 1.0 act_g 1.0 削除 [-36.38  81.56   7.91   3.49 -87.79 -29.4 ]
trim2 で 83 の前後に残った元のステップ: [72, 73, 74, 75, 83, 84, 85, 104]

閉じる指令は元の 83 ステップ目で、直前の 82 は削られています。ただ、82 は 74〜81 と姿勢がまったく同じ(関節の角度の差は 0.1° 未満)で、trim2 には 74・75 が 83 の直前に残っています。「つかむ直前の、止まって落ち着いた姿勢」は学習データに入っているので、実害はないと判断して、このまま学習に進めました。

学習の前に、データをもう1回点検しました。この点検は、あとで作った点検スクリプト check_dataset.py(後述)でも同じ結果になっています。

学習用の Pod で、trim2 を変換して学習を始めた

学習には GPU のメモリが 22.5GB 以上要るので、Runpod で A40(48GB)を借りました。

項目値
GPUNVIDIA A40 ×1
CPU・メモリ
9 vCPU(Intel Xeon Gold 6342 @ 2.80GHz)・50GB
Container Disk200GB
場所
CA-MTL-1・Secure Cloud
テンプレート
runpod/pytorch:1.4.0-cu1281-torch280-ubuntu2404
料金
計算 $0.59/時 + ディスク $0.028/時 = $0.62/時

前の回は A40 の空きを待って起動まで約4時間半かかりましたが、この回は数分で起動しました。準備の手順は前の回と同じです。学習設定は、前の回の add_teach_config.py と同じ方式で、データ名だけ trim2 に変えた add_trim_config.py を作りました。

#!/usr/bin/env python3
"""openpi config.py に teach_v1_trim2 用の学習設定 pi05_mecharm_trim_lora を足す (lab Log11).

install_addon.py を実行した後に 1 回実行 (add_teach_config.py とは独立. 両方入れてもよい):
  python3 add_trim_config.py /workspace/openpi
pi05_mecharm_lora (v1) の設定をそのまま写し、次の 3 か所だけ変える (add_teach_config.py と同じ方式):
  name            pi05_mecharm_lora             -> pi05_mecharm_trim_lora
  repo_id         local/mecharm_redblock_box_v1 -> local/mecharm_redblock_box_teach_v1_trim2
  num_train_steps 5_000                         -> 4_000
学習率の予定 (decay_steps=5_000) は v1・teach_v1 と同じ. データ以外の条件を teach_v1 (Log10) と揃える.
"""
import sys
from pathlib import Path

cfg = Path(sys.argv[1] if len(sys.argv) > 1 else ".").resolve() / "src" / "openpi" / "training" / "config.py"
s = cfg.read_text()
MARK = "    # >>> r2r2r mecharm teach_v1_trim2 (train config)\n"
if MARK in s:
    print("already installed (config.py は変更なし)")
    sys.exit(0)

A = "    # >>> r2r2r mecharm addon (train config)\n"
B = "    # <<< r2r2r mecharm addon (train config)\n"
assert s.count(A) == 1 and s.count(B) == 1, "先に install_addon.py を実行する"
i, j = s.index(A), s.index(B) + len(B)
block = s[i:j]
reps = [
    (A, MARK),
    (B, "    # <<< r2r2r mecharm teach_v1_trim2 (train config)\n"),
    ('name="pi05_mecharm_lora"', 'name="pi05_mecharm_trim_lora"'),
    ('repo_id="local/mecharm_redblock_box_v1"', 'repo_id="local/mecharm_redblock_box_teach_v1_trim2"'),
    ("num_train_steps=5_000,", "num_train_steps=4_000,"),
]
for a, b in reps:
    assert block.count(a) == 1, f"見つからない/重複: {a!r}"
    block = block.replace(a, b)
assert "decay_steps=5_000" in block
s = s[:j] + block + s[j:]
cfg.write_text(s)
print("installed: pi05_mecharm_trim_lora (repo_id=local/mecharm_redblock_box_teach_v1_trim2, 4,000 steps)")

openpi を模した仮のフォルダで、前の回の設定と並べて入れても二重に入らないことと、Python の文法として正しいことを確かめています。

installed: policies/mecharm_policy.py + config.py (pi05_mecharm_lora)
installed: pi05_mecharm_teach_lora (repo_id=local/mecharm_redblock_box_teach_v1, 4,000 steps)
installed: pi05_mecharm_trim_lora (repo_id=local/mecharm_redblock_box_teach_v1_trim2, 4,000 steps)
already installed (config.py は変更なし)
48:        name="pi05_mecharm_lora",
56:            repo_id="local/mecharm_redblock_box_v1",
74:        num_train_steps=5_000,  # 成功 20 本 (約 6,000 フレーム) で約 27 周
83:        name="pi05_mecharm_trim_lora",
91:            repo_id="local/mecharm_redblock_box_teach_v1_trim2",
109:        num_train_steps=4_000,  # 成功 20 本 (約 6,000 フレーム) で約 27 周
構文OK

最初の変換は、データが Pod に届き切る前に走っていました。正規化の値を計算する段で、Pod の中にデータが見つからず、Hugging Face のサイトに探しに行って失敗しています。

  File "/workspace/openpi/.venv/lib/python3.11/site-packages/huggingface_hub/utils/_validators.py", line 114, in _inner_fn
    return fn(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^
  File "/workspace/openpi/.venv/lib/python3.11/site-packages/huggingface_hub/hf_api.py", line 3200, in list_repo_refs
    hf_raise_for_status(response)
  File "/workspace/openpi/.venv/lib/python3.11/site-packages/huggingface_hub/utils/_http.py", line 459, in hf_raise_for_status
    raise _format(RepositoryNotFoundError, message, response) from e
huggingface_hub.errors.RepositoryNotFoundError: 401 Client Error. (Request ID: Root=1-6ad8002d-7b19f58317a1cdb761b4f5b4;5d5eea2f-95c8-4587-b2cc-4cbe8e90cc70)

Repository Not Found for url: https://huggingface.co/api/datasets/local/mecharm_redblock_box_teach_v1_trim2/refs.
Please make sure you specified the correct `repo_id` and `repo_type`.
If you are trying to access a private or gated repo, make sure you are authenticated. For more details, see https://huggingface.co/docs/huggingface_hub/authentication
Invalid username or password.
root@a890930c92f7:/workspace/openpi#
root@a890930c92f7:/workspace/openpi# ls ~/.cache/huggingface/lerobot/local/ 2>&1 
ls /workspace/data/raw_episodes | wc -l
ls: cannot access '/root/.cache/huggingface/lerobot/local/': No such file or directory
ls: cannot access '/workspace/data/raw_episodes': No such file or directory
0
root@a890930c92f7:/workspace/openpi# ls -la /workspace/data /workspace/r2r2r
/workspace/data:
total 71744
drwxr-xr-x 2 root root       35 Oct 20 23:58 .
drwxr-xr-x 1 root root       95 Oct 20 23:57 ..
-rw-r--r-- 1 root root 73463808 Oct 20 23:59 trim2_raw.tar

/workspace/r2r2r:
total 8
drwxr-xr-x 3 root root   56 Oct 20 23:58 .
drwxr-xr-x 1 root root   95 Oct 20 23:57 ..
-rwx------ 1 root root 1966 Oct 20 23:58 add_trim_config.py
drwxr-xr-x 4 root root 4096 Oct 20 23:58 pi05
root@a890930c92f7:/workspace/openpi#

Mac の tar と大きさを比べて、届き切っていることを確かめました。

(base) shimazueiichi@shimadzueiichinoMacBook-Pro mecharm_redblock_box_teach_v1_trim2 % ls -l ~/trim2_raw.tar
-rw-r--r--  1 shimazueiichi  staff  73463808 10月 21 08:58 /Users/shimazueiichi/trim2_raw.tar
(base) shimazueiichi@shimadzueiichinoMacBook-Pro mecharm_redblock_box_teach_v1_trim2 %

展開してから、変換と正規化の値の計算をやり直しました。

cd /workspace/data && tar xf trim2_raw.tar && ls raw_episodes | wc -l
cd /workspace/openpi
uv run python /workspace/r2r2r/pi05/convert_to_lerobot.py --raw-dir /workspace/data/raw_episodes --repo-id local/mecharm_redblock_box_teach_v1_trim2
uv run scripts/compute_norm_stats.py --config-name pi05_mecharm_trim_lora
Map: 100%|███████████████████████████| 123/123 [00:00<00:00, 1274.38 examples/s]
Creating parquet from Arrow format: 100%|████████| 2/2 [00:00<00:00, 155.15ba/s]
  run_0001_20261019_194818: 123 steps
Map: 100%|████████████████████████████| 126/126 [00:00<00:00, 930.03 examples/s]
Creating parquet from Arrow format: 100%|████████| 2/2 [00:00<00:00, 154.24ba/s]
  run_0001_20261019_194913: 126 steps
Map: 100%|███████████████████████████| 123/123 [00:00<00:00, 1216.17 examples/s]
Creating parquet from Arrow format: 100%|████████| 2/2 [00:00<00:00, 129.94ba/s]
  run_0001_20261019_195023: 123 steps
Map: 100%|███████████████████████████| 120/120 [00:00<00:00, 1261.31 examples/s]
Creating parquet from Arrow format: 100%|████████| 2/2 [00:00<00:00, 118.76ba/s]
  run_0001_20261019_195120: 120 steps
done: 19 episodes / 2717 frames → /workspace/.cache/huggingface/lerobot/local/mecharm_redblock_box_teach_v1_trim2
Resolving data files: 100%|█████████████████| 19/19 [00:00<00:00, 194845.42it/s]
Downloading data: 100%|███████████████████| 19/19 [00:00<00:00, 94871.16files/s]
Generating train split: 2717 examples [00:00, 3731.74 examples/s]
Computing stats: 100%|██████████████████████████| 84/84 [00:22<00:00,  3.76it/s]
Writing stats to: /workspace/openpi/assets/pi05_mecharm_trim_lora/local/mecharm_redblock_box_teach_v1_trim2
root@a890930c92f7:/workspace/openpi#

学習を始めました。条件はデータ以外、前の回と同じです(4,000 ステップ、batch 32、学習率の予定も同じ)。学習の1ステップは、お手本から32コマ(batch 32)を取り出して予測と正解を比べ、モデルの重みを1回直す単位で、お手本の1ステップ(0.1 秒)とは別の数え方です。

XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_mecharm_trim_lora --exp-name=trim2_v1 --overwrite 2>&1 | tee /workspace/logs/train.log

tmux の別の画面で、GPU の様子を30秒おきに記録しました。最初の5分ほどは、π0.5 の元の重みのダウンロードとコンパイルで、使用率が 0% のままです。

2026/10/21 00:04:58.141, 43976 MiB, 0 %
2026/10/21 00:05:28.141, 43976 MiB, 0 %
2026/10/21 00:05:58.142, 43976 MiB, 0 %
2026/10/21 00:06:28.142, 44006 MiB, 100 %
2026/10/21 00:06:58.143, 44024 MiB, 0 %
2026/10/21 00:07:28.143, 44024 MiB, 0 %
2026/10/21 00:07:58.145, 44032 MiB, 100 %
2026/10/21 00:08:28.146, 44032 MiB, 100 %
2026/10/21 00:08:58.147, 44032 MiB, 100 %
2026/10/21 00:09:28.147, 44032 MiB, 100 %
2026/10/21 00:09:58.148, 44032 MiB, 100 %
2026/10/21 00:10:28.148, 44032 MiB, 100 %
2026/10/21 00:10:58.149, 44032 MiB, 100 %
2026/10/21 00:11:28.150, 44032 MiB, 100 %

時刻は Pod の時計(世界標準時)で、日本時間では 9 時台です。この画面を見ている間にも、Mac のターミナルがもう一度固まり、強制終了しています。学習は Pod の tmux の中で動いているので、止まっていません。Mac から1行で学習の記録をのぞきました。

Last login: Wed Oct 21 09:11:08 on ttys002
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ % ssh -p <SSH_PORT> -i ~/.ssh/id_ed25519 root@<POD_IP> "grep -a 'Step' /workspace/logs/train.log | tail -5"
Step 0: grad_norm=0.9165, loss=0.1104, param_norm=1803.7705
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ % ssh -p <SSH_PORT> -i ~/.ssh/id_ed25519 root@<POD_IP> "tail -c 1500 /workspace/logs/train.log"
s on: 24.0it/4.00kit rate:6.6s/it remaining:7:16:53 elapsed:06:53 postfix:- (3037:tqdm_logging.py:145)
00:10:40.476 [I] Progress on: 26.0it/4.00kit rate:6.6s/it remaining:7:16:08 elapsed:07:07 postfix:- (3037:tqdm_logging.py:145)
00:10:53.651 [I] Progress on: 28.0it/4.00kit rate:6.6s/it remaining:7:15:59 elapsed:07:20 postfix:- (3037:tqdm_logging.py:145)
00:11:06.817 [I] Progress on: 30.0it/4.00kit rate:6.6s/it remaining:7:15:38 elapsed:07:33 postfix:- (3037:tqdm_logging.py:145)
00:11:19.995 [I] Progress on: 32.0it/4.00kit rate:6.6s/it remaining:7:15:37 elapsed:07:46 postfix:- (3037:tqdm_logging.py:145)
00:11:33.155 [I] Progress on: 34.0it/4.00kit rate:6.6s/it remaining:7:15:12 elapsed:07:59 postfix:- (3037:tqdm_logging.py:145)
00:11:46.314 [I] Progress on: 36.0it/4.00kit rate:6.6s/it remaining:7:14:49 elapsed:08:12 postfix:- (3037:tqdm_logging.py:145)
00:11:59.483 [I] Progress on: 38.0it/4.00kit rate:6.6s/it remaining:7:14:40 elapsed:08:26 postfix:- (3037:tqdm_logging.py:145)
00:12:12.646 [I] Progress on: 40.0it/4.00kit rate:6.6s/it remaining:7:14:25 elapsed:08:39 postfix:- (3037:tqdm_logging.py:145)
00:12:25.830 [I] Progress on: 42.0it/4.00kit rate:6.6s/it remaining:7:14:33 elapsed:08:52 postfix:- (3037:tqdm_logging.py:145)
00:12:38.993 [I] Progress on: 44.0it/4.00kit rate:6.6s/it remaining:7:14:06 elapsed:09:05 postfix:- (3037:tqdm_logging.py:145)
00:12:52.185 [I] Progress on: 46.0it/4.00kit rate:6.6s/it remaining:7:14:18 elapsed:09:18 postfix:- (3037:tqdm_logging.py:145)
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ %

1ステップ 6.6 秒(A40)で、残り約7時間14分、16時半ごろに終わる見込みです。最初の loss は 0.1104 で、前の回(teach_v1・0.0858)と違うのは、データの中身が変わったためです。データ全体を回る回数は、前の回の約32周から約49周に増えます(4,000 ステップ × batch 32 ÷ 2,717 ステップ)。

上カメラの写り方が、実機を動かした回だけお手本と違っていた

記事にするために、AI に渡した画像とお手本の画像を並べたところで、写り方の違いに気づきました。

左からお手本(10/19)、8:25 のドライラン、8:26 の実機の回の最初のコマ。黒い横線は同じ高さ。実機の回だけマットの上の端とアームの土台が写り、ブロックと箱が下にずれている

8:26 の実機の回だけ、マットの上の端とアームの土台が写り、ブロックと箱が下にずれています。1分前のドライランは、お手本と同じ写り方でした。マットの左端の列(x=70〜90)で、上から最初に暗くなる行を、データセットと実行の記録ごとに数えました。

# 上カメラの画像で、マットの上の端が何行目に写っているか (左端 x=70〜90 の列で、上から最初に暗くなる行) (LOG358)
import cv2, numpy as np, glob, os
ROOT = os.environ.get("R2R2R_DATA", "/Volumes/KIOXIA/r2r2r-data")
os.chdir(ROOT)
def top(p):
    g = cv2.imread(p, 0).astype(float); col = g[:, 70:90].mean(1); d = np.where(col < 80)[0]
    return int(d.min()) if len(d) else -1
for r in sorted(glob.glob("datasets/mecharm_redblock_box_scripted_v1/raw_episodes/*"))[:20:3]:
    fs = sorted(glob.glob(r + "/frames/*.jpg")); print("scripted", r[-15:], [top(p) for p in fs[::40]])
for r in sorted(glob.glob("datasets/mecharm_redblock_box_teach_v1/raw_episodes/*")):
    fs = sorted(glob.glob(r + "/frames/*.jpg")); print("teach", r[-15:], [top(p) for p in fs[::40]])
for d in sorted(glob.glob("runs/pi05_policy/pi05_2026101[57]*")) + sorted(glob.glob("runs/pi05_policy/pi05_20261021*")):
    fs = sorted(glob.glob(d + "/frames/*.jpg"))
    if fs: print("run", d[-15:], [top(p) for p in fs[::5]])
scripted 20261015_173315 [21, 22, 22, 22, 22, 22, 22, 22]
scripted 20261015_182056 [20, 20, 20, 21, 21, 21, 21]
scripted 20261015_185536 [21, 20, 20, 20, 21, 21, 20]
scripted 20261015_194420 [18, 20, 20, 20, 20, 19, 20, 19]
scripted 20261016_180013 [18, 18, 18, 18, 18, 18, 18]
scripted 20261016_190925 [18, 18, 18, 18, 18, 18]
scripted 20261016_192229 [17, 18, 18, 18, 18, 18, 18, 18]
teach 20261019_183454 [0, 0, 0, 0, 0, 0]
teach 20261019_191257 [0, 1, 1, 1, 1, 0]
teach 20261019_191347 [0, 0, 1, 1, 1, 0]
teach 20261019_191441 [0, 0, 0, 1, 1, 1, 0]
teach 20261019_191541 [0, 0, 0, 0, 1, 1]
teach 20261019_191635 [0, 0, 1, 1, 1, 1]
teach 20261019_192343 [0, 1, 1, 1, 1]
teach 20261019_192438 [0, 1, 1, 1, 1, 0]
teach 20261019_192539 [0, 1, 1, 1, 1, 0]
teach 20261019_192633 [0, 1, 1, 1, 1]
teach 20261019_193404 [0, 1, 0, 0, 1, 1]
teach 20261019_193459 [0, 1, 0, 0, 1, 1]
teach 20261019_193617 [0, 0, 0, 0, 1, 1]
teach 20261019_193825 [0, 0, 0, 0, 0, 1, 1]
teach 20261019_193932 [0, 0, 0, 0, 1, 1]
teach 20261019_194818 [0, 1, 1, 1, 1]
teach 20261019_194913 [0, 1, 1, 1, 1]
teach 20261019_195023 [0, 1, 0, 1, 1]
teach 20261019_195120 [0, 1, 0, 1, 1]
run 20261015_193023 [19]
run 20261017_072035 [22]
run 20261017_072306 [21]
run 20261017_172323 [17]
run 20261017_172526 [17, 17, 17]
run 20261017_172828 [17, 17]
run 20261017_173054 [17, 17]
run 20261017_174533 [16]
run 20261017_174600 [16, 16]
run 20261017_175126 [15]
run 20261017_175143 [15]
run 20261017_175214 [15, 15]
run 20261017_175413 [13]
run 20261017_175438 [13, 13]
run 20261017_221600 [23]
run 20261017_221710 [22]
run 20261017_222053 [22, 23, 23]
run 20261017_222723 [22, 23, 23]
run 20261021_082212 [0]
run 20261021_082423 [0]
run 20261021_082512 [0]
run 20261021_082645 [18, 18, 18, 18]

写り方は大きく2通りあります。

記録マットの上端の行
前のお手本 scripted_v1(10/15〜16)
17〜22
10/17 の実機(LOG345 の回)
13〜23
今回のお手本 teach_v1(10/19)
0〜1
8:22・8:24・8:25 のドライランと HOME 戻し
0
8:26 の実機の回18

画像全体のずれも、cv2.phaseCorrelate(2枚の画像を重ねて、どれだけずらせば合うかを測る)で測りました。基準は teach_v1 の 183454 の最初のコマです。

# 上カメラの画像全体のずれを cv2.phaseCorrelate で測る。基準は teach_v1 の 183454 の最初のコマ (LOG358)
import cv2, numpy as np, os
ROOT = os.environ.get("R2R2R_DATA", "/Volumes/KIOXIA/r2r2r-data")
os.chdir(ROOT)
T = "datasets/mecharm_redblock_box_teach_v1/raw_episodes/"
def g(p): return cv2.imread(p, 0).astype(np.float32)
ref = g(T + "run_0001_20261019_183454/frames/000000.jpg")
win = cv2.createHanningWindow(ref.shape[::-1], cv2.CV_32F)
for name, p in [("teach 191257 t0", T + "run_0001_20261019_191257/frames/000000.jpg"),
                ("teach 195120 t0", T + "run_0001_20261019_195120/frames/000000.jpg"),
                ("today 082512 HOME dry", "runs/pi05_policy/pi05_20261021_082512/frames/0000.jpg"),
                ("today 082645 exec", "runs/pi05_policy/pi05_20261021_082645/frames/0000.jpg"),
                ("10/17 222723", "runs/pi05_policy/pi05_20261017_222723/frames/0000.jpg")]:
    (dx, dy), r = cv2.phaseCorrelate(ref, g(p), win)
    print(f"{name:24s} dx={dx:+6.1f} dy={dy:+6.1f} response={r:.2f}")
teach 191257 t0          dx=  +5.0 dy=  +9.1 response=0.46
teach 195120 t0          dx=  +5.8 dy=  -6.7 response=0.56
today 082512 HOME dry    dx=  +2.8 dy=  -7.8 response=0.58
today 082645 exec        dx=  -1.9 dy= +37.5 response=0.45
10/17 222723             dx=  -4.3 dy=  +8.0 response=0.05

お手本どうしでも、ブロックの位置の違いで上下に 7〜9 ピクセル揺れます。8:26 の実機の回は 37.5 ピクセルで、はっきり外れています。画像の高さは 216 ピクセルなので、2割近いずれです。

上のカメラは、普段使いの iPhone を毎回付け外しして取り付けています。付けるたびに写り方が変わるのは自然なことで、8:25 と 8:26 の間にも何かで位置が変わったと考えています。この回のモデルは、学習で見たことのない写り方の画像を見ながら動いていました。 ブロックの近くで止まったことはお手本の停止で説明がつきますが、手を伸ばした先がずれていた可能性もあります。この2つは、この回の記録だけでは切り分けられません。

実機で通しで動かせていない理由を、これまでの3回で並べた

π0.5 を実機で動かした回を並べると、止まった原因は毎回お手本の側にあり、しかも8時間学習して実機で動かすまで分からない作りになっていました。

回実機で起きたこと原因いつ分かったはずか
Log#6(LOG345)
ブロックの真上まで来て、爪がブロックに乗って止まった
つかむ位置が爪1本分ずれていた
実機で初めて分かった
Log#7(LOG348)
4,000 ステップ学習しても、爪が奥へずれた
お手本のブロックがほぼ同じ場所で、画像を見ずに「いつもの場所」へ手を伸ばしていた
お手本を集めた時点
Log#11(この回・朝)
ブロックの近くで止まり、動かなくなった
お手本の 40% が停止で、真上で 1.5〜2 秒止まっていた。カメラの写り方もお手本と違っていた
停止はお手本を集めた時点(数えれば1分)。写り方は実機を動かす前
Log#11(この回・夕方)
つかんで箱の位置まで運んだが、持ち上げずに引きずり、箱の外で離した
運ぶ間に手首 j4 が +18° 動き、肩で上げた分を打ち消した。1回に動ける上限が関節ごとにかかり、関節どうしの割合もずれた
実機で初めて分かった

1つの原因を見つけて直すたびに、「直す → 学習し直す(約8時間)→ 実機で試す」を1回まわすので、1つにほぼ1日かかっています。そのうえ、GPU の空き待ち(前の回は約4時間半)と、Mac と Pod の間のモデルの転送(この回は40分)が、毎回つきます。

そこで、次の4つを足しました。

足したものいつ使うか見つけるもの
check_dataset.py(お手本の点検)
学習の前
停止の長さと割合、ブロックの位置のばらつき、グリッパーの切り替え、肩 j1 が 88° を超える姿勢、正解と次の角度の食い違い
eval_policy_offline.py(お手本との答え合わせ)
学習のあと、実機の前
お手本の画像と角度をサーバーに送り、予測が「お手本は動くのに止まる」場面がないか
run_policy_client.py の肩の上限と送る前の検査
実機で動かすとき
88° を超える肩の指令(アームが黙って捨てる。LOG352)と、安全範囲の外への指令を、送らずに止める
上カメラの写り方の確認実機で動かす前
お手本と写り方が違えば、アームを動かさずに止める。iPhone を付けたあとに位置を合わせる画面も作る

もう1つ、段取りを変えます。学習が終わったら、モデルを Mac に持ち帰る前に、学習に使った Pod でそのまま推論サーバーを起動して、実機で試します。モデルを送る往復(約1時間)がなくなります。

学習の前の点検 check_dataset.py は、teach_v1 で FAIL、trim2 で PASS になった

check_dataset.py は Claude Code が書きました。学習に出すお手本を読むだけで、FAIL が1つでもあれば終了コード 1 を返します。肩の上限 88° は、本線の fk_lookup.py の値をそのまま読み込んでいます。teach_v1 と trim2 で動かした結果です(Claude Code の報告から)。

A と D を入れて commit しました。codex レビューで必須 1 
  件が出ています(未反映)。

  A. pi05/check_dataset.py(新規・読むだけ)

  python3 pi05/check_dataset.py <raw_episodes> で 6 項目を PASS/WARN/FAIL
  表示、FAIL があれば終了コード 1。書き込み系の呼び出しは無し(grep
  済み)。J1_SAFE_MAX は本線 fk_lookup.py から import(二重定義しない)、停止の
別のタブで開く保存

teach_v1 は、19本すべてで「いちばん長い停止が1秒を超える」で FAIL になりました。学習の前にこれを動かしていれば、この回の実機テストまでたどり着く前に止まれたことになります。

#!/usr/bin/env python3
"""check_dataset.py — 学習に出す前に、お手本データ (raw_episodes) を点検する (Mac 側・読むだけ).

2026-10-21 (lab Log11 / LOG358): teach_v1 で学習したモデルが、ブロックの真上で止まった.
原因はお手本の側で、停止しているステップが 40% あり、真上で 1.5〜2 秒止まっていた.
action_horizon は 10 (1 秒) なので、1 秒を超える停止は「止まる」という動作として丸ごと覚える.
学習の前に数えれば分かったことなので、毎回の学習前にこれを実行する.
別のタブで開く保存

お手本との答え合わせ eval_policy_offline.py は、偽のサーバーで判定を確かめた

学習のあと、実機の前に動かすスクリプトは Claude が書きました。お手本の各ステップの画像と角度を、そのままサーバーに送ります。返ってきた1秒分の予測とお手本のその後1秒の動きを比べ、「お手本は1秒で 2° 以上動くのに、予測は 0.5° 未満しか動かない」場面を「止まり」として数えます。アームは動かしません。

05_eval_policy_offline.py.txt8,662字・185行・text
#!/usr/bin/env python3
"""eval_policy_offline.py — π0.5 サーバーの予測を、お手本と答え合わせする (アームは動かさない).

学習が終わったら、実機で動かす前にこれを実行する (lab Log11 / LOG358).
お手本の各ステップの「上カメラ画像 + 関節角 + グリッパー」をそのままサーバーへ送り,
返ってきた 1 秒分の予測 (10 x 7) と, お手本のその後 1 秒の動きを比べる.

見るもの:
別のタブで開く保存

まだ本物のサーバーがないので、Claude のクラウドの作業環境に、決まった答えを返す偽のサーバーを立てて確かめました。stuck は「今の角度のまま動かない」答え、move は「肩を 0.1 秒ごとに 0.8° ずつ動かす」答えを返します。お手本は、trim2 の 183454 の角度に、画像を同じ1枚にしたものを3本(run_A・run_B は同じ位置、run_C は j0 を −20° ずらした位置)使っています。

import sys, numpy as np
sys.path.insert(0,"test/pi05")
from policy_ws import packb, unpackb
from websockets.sync.server import serve
mode=sys.argv[1]
def h(ws):
    ws.send(packb({}))
    for msg in ws:
        obs=unpackb(msg); s=np.asarray(obs["observation/state"],dtype=np.float32)
        assert obs["observation/image"].shape[2]==3 and obs["prompt"]
        a=np.repeat(s[None],10,0).copy()
        if mode=="move": a[:,1]+=np.arange(1,11)*0.8
        ws.send(packb({"actions":a}))
with serve(h,"localhost",8765,max_size=None) as srv: srv.serve_forever()
[EVAL  ] お手本 2 本 / 10 ステップおき / 記録 out/20261021_101224
         run_C
         run_A
[POLICY] 接続 ws://localhost:8765
[run_C t=  0] 1秒の動き お手本 20.9° 予測  0.0°  ずれ 平均 3.8° 最大20.9°(j4)  [STUCK]
[run_C t= 10] 1秒の動き お手本 29.0° 予測  0.0°  ずれ 平均 6.3° 最大29.0°(j4)  [STUCK]
[run_C t= 20] 1秒の動き お手本 28.8° 予測  0.0°  ずれ 平均 6.4° 最大28.8°(j4)  [STUCK]
[run_C t= 30] 1秒の動き お手本  6.7° 予測  0.0°  ずれ 平均 2.4° 最大 6.7°(j4)  [STUCK]
[run_C t= 40] 1秒の動き お手本 14.0° 予測  0.0°  ずれ 平均 2.2° 最大14.0°(j1)  [STUCK]
[run_C t= 50] 1秒の動き お手本  4.4° 予測  0.0°  ずれ 平均 0.5° 最大 4.4°(j1)  [STUCK]  グリッパー お手本00011 予測00000
[run_C t= 60] 1秒の動き お手本 12.5° 予測  0.0°  ずれ 平均 2.4° 最大12.5°(j1)  [STUCK]
[run_C t= 70] 1秒の動き お手本 28.7° 予測  0.0°  ずれ 平均 5.0° 最大28.7°(j0)  [STUCK]
[run_C t= 80] 1秒の動き お手本 29.4° 予測  0.0°  ずれ 平均 5.1° 最大29.4°(j0)  [STUCK]
[run_C t= 90] 1秒の動き お手本 13.4° 予測  0.0°  ずれ 平均 3.5° 最大13.4°(j1)  [STUCK]
[run_C t=100] 1秒の動き お手本  9.0° 予測  0.0°  ずれ 平均 3.2° 最大10.0°(j1)  [STUCK]
[run_C t=110] 1秒の動き お手本 25.7° 予測  0.0°  ずれ 平均 5.0° 最大25.7°(j1)  [STUCK]
[run_C t=120] 1秒の動き お手本 27.7° 予測  0.0°  ずれ 平均 6.5° 最大27.7°(j4)  [STUCK]
[run_C t=130] 1秒の動き お手本 28.0° 予測  0.0°  ずれ 平均 7.2° 最大28.0°(j4)  [STUCK]
[run_C t=140] 1秒の動き お手本  2.7° 予測  0.0°  ずれ 平均 0.9° 最大 2.7°(j0)  [STUCK]
[run_A t=  0] 1秒の動き お手本 20.9° 予測  0.0°  ずれ 平均 3.8° 最大20.9°(j4)  [STUCK]
[run_A t= 10] 1秒の動き お手本 29.0° 予測  0.0°  ずれ 平均 6.3° 最大29.0°(j4)  [STUCK]
[run_A t= 20] 1秒の動き お手本 28.8° 予測  0.0°  ずれ 平均 6.4° 最大28.8°(j4)  [STUCK]
[run_A t= 30] 1秒の動き お手本  6.7° 予測  0.0°  ずれ 平均 2.4° 最大 6.7°(j4)  [STUCK]
[run_A t= 40] 1秒の動き お手本 14.0° 予測  0.0°  ずれ 平均 2.2° 最大14.0°(j1)  [STUCK]
[run_A t= 50] 1秒の動き お手本  4.4° 予測  0.0°  ずれ 平均 0.5° 最大 4.4°(j1)  [STUCK]  グリッパー お手本00011 予測00000
[run_A t= 60] 1秒の動き お手本 12.5° 予測  0.0°  ずれ 平均 2.4° 最大12.5°(j1)  [STUCK]
[run_A t= 70] 1秒の動き お手本 28.7° 予測  0.0°  ずれ 平均 5.0° 最大28.7°(j0)  [STUCK]
[run_A t= 80] 1秒の動き お手本 29.4° 予測  0.0°  ずれ 平均 5.1° 最大29.4°(j0)  [STUCK]
[run_A t= 90] 1秒の動き お手本 13.4° 予測  0.0°  ずれ 平均 3.5° 最大13.4°(j1)  [STUCK]
[run_A t=100] 1秒の動き お手本  9.0° 予測  0.0°  ずれ 平均 3.2° 最大10.0°(j1)  [STUCK]
[run_A t=110] 1秒の動き お手本 25.7° 予測  0.0°  ずれ 平均 5.0° 最大25.7°(j1)  [STUCK]
[run_A t=120] 1秒の動き お手本 27.7° 予測  0.0°  ずれ 平均 6.5° 最大27.7°(j4)  [STUCK]
[run_A t=130] 1秒の動き お手本 28.0° 予測  0.0°  ずれ 平均 7.2° 最大28.0°(j4)  [STUCK]
[run_A t=140] 1秒の動き お手本  2.7° 予測  0.0°  ずれ 平均 0.9° 最大 2.7°(j0)  [STUCK]

[SUMMARY] 問い合わせ 30 回 / 止まり 30 回 / グリッパーの食い違い 2 回 / ずれの中央値 3.8°
  run_C: 止まり 15/15 [0, 10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 110, 120, 130, 140]  グリッパー 1  ずれ中央値 3.8°
  run_A: 止まり 15/15 [0, 10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 110, 120, 130, 140]  グリッパー 1  ずれ中央値 3.8°
[DONE  ] 記録: out/20261021_101224
[EVAL  ] お手本 3 本 / 20 ステップおき / 記録 out/20261021_101228
         run_A
         run_B
         run_C
[POLICY] 接続 ws://localhost:8765
[run_A t=  0] 1秒の動き お手本 20.9° 予測  8.0°  ずれ 平均 3.2° 最大20.9°(j4)
[run_A t= 20] 1秒の動き お手本 28.8° 予測  8.0°  ずれ 平均 5.6° 最大28.8°(j4)
[run_A t= 40] 1秒の動き お手本 14.0° 予測  8.0°  ずれ 平均 1.5° 最大 8.1°(j2)
[run_A t= 60] 1秒の動き お手本 12.5° 予測  8.0°  ずれ 平均 3.1° 最大20.5°(j1)
[run_A t= 80] 1秒の動き お手本 29.4° 予測  8.0°  ずれ 平均 5.8° 最大29.4°(j0)
[run_A t=100] 1秒の動き お手本  9.0° 予測  8.0°  ずれ 平均 2.5° 最大 7.7°(j4)
[run_A t=120] 1秒の動き お手本 27.7° 予測  8.0°  ずれ 平均 7.2° 最大27.7°(j4)
[run_A t=140] 1秒の動き お手本  2.7° 予測  8.0°  ずれ 平均 1.7° 最大 8.7°(j1)
[run_B t=  0] 1秒の動き お手本 20.9° 予測  8.0°  ずれ 平均 3.2° 最大20.9°(j4)
[run_B t= 20] 1秒の動き お手本 28.8° 予測  8.0°  ずれ 平均 5.6° 最大28.8°(j4)
[run_B t= 40] 1秒の動き お手本 14.0° 予測  8.0°  ずれ 平均 1.5° 最大 8.1°(j2)
[run_B t= 60] 1秒の動き お手本 12.5° 予測  8.0°  ずれ 平均 3.1° 最大20.5°(j1)
[run_B t= 80] 1秒の動き お手本 29.4° 予測  8.0°  ずれ 平均 5.8° 最大29.4°(j0)
[run_B t=100] 1秒の動き お手本  9.0° 予測  8.0°  ずれ 平均 2.5° 最大 7.7°(j4)
[run_B t=120] 1秒の動き お手本 27.7° 予測  8.0°  ずれ 平均 7.2° 最大27.7°(j4)
[run_B t=140] 1秒の動き お手本  2.7° 予測  8.0°  ずれ 平均 1.7° 最大 8.7°(j1)
[run_C t=  0] 1秒の動き お手本 20.9° 予測  8.0°  ずれ 平均 3.2° 最大20.9°(j4)
[run_C t= 20] 1秒の動き お手本 28.8° 予測  8.0°  ずれ 平均 5.6° 最大28.8°(j4)
[run_C t= 40] 1秒の動き お手本 14.0° 予測  8.0°  ずれ 平均 1.5° 最大 8.1°(j2)
[run_C t= 60] 1秒の動き お手本 12.5° 予測  8.0°  ずれ 平均 3.1° 最大20.5°(j1)
[run_C t= 80] 1秒の動き お手本 29.4° 予測  8.0°  ずれ 平均 5.8° 最大29.4°(j0)
[run_C t=100] 1秒の動き お手本  9.0° 予測  8.0°  ずれ 平均 2.5° 最大 7.7°(j4)
[run_C t=120] 1秒の動き お手本 27.7° 予測  8.0°  ずれ 平均 7.2° 最大27.7°(j4)
[run_C t=140] 1秒の動き お手本  2.7° 予測  8.0°  ずれ 平均 1.7° 最大 8.7°(j1)

[SUMMARY] 問い合わせ 24 回 / 止まり 0 回 / グリッパーの食い違い 0 回 / ずれの中央値 3.14°
  run_A: 止まり 0/8 []  グリッパー 0  ずれ中央値 3.14°
  run_B: 止まり 0/8 []  グリッパー 0  ずれ中央値 3.14°
  run_C: 止まり 0/8 []  グリッパー 0  ずれ中央値 3.14°
[DONE  ] 記録: out/20261021_101228
--- out を KIOXIA の既定にしたとき(クラウドの作業環境には KIOXIA がない) ---
[ERROR] KIOXIA がマウントされていない: /Volumes/KIOXIA

止まるモデルでは全部が「止まり」、動くモデルでは0件になりました。位置ごとに1本ずつ選ぶ指定では、同じ位置の2本から1本だけが選ばれています。KIOXIA がつながっていないときは、書き込まずに止まります。

ただし、このスクリプトはお手本の画像を使うので、カメラの写り方のずれは見つけられません。写り方は、実機で動かす前に別の確認で見ます。

アームを動かすクライアントには、肩の上限と送る前の検査を入れた

run_policy_client.py の変更は、実機を動かすプログラムなので、Claude Code が実装し、codex がレビューしています。

  1. 安全範囲の肩 j1 の上限を、fk_lookup.py と同じ J1_SAFE_MAX = 88.0 で切る(これまでは +98° まで通っていた)
  2. --raw-dir を必ず指定させる(前のお手本で安全範囲が作られるのを防ぐ)
  3. 送る直前に、目標が全関節で安全範囲の中にあるかを確かめ、外れていれば送らずに止める。HOME に戻す h だけは、この検査を通さずに送れる(範囲の外にいるアームを戻す手段)

3つ目は、codex のレビューで2回指摘されて入りました。1回目は「肩が 108° を超えてたたまれていると、移動量の制限で 88° を超える目標ができる」(R1)、2回目は「同じことが手首 j4 などほかの関節でも起きる」(C2)です。どちらも、安全範囲でそろえた目標を、そのあと移動量の制限で現在の角度に近づける順番になっているために起きます。この回の最後の修正の報告です。

 C2 を入れて commit しました(901758d)。codex は「C2 
  は閉じています。必須指摘はありません」です。

  入れたもの

  check_send_safe(target, lo, hi) を全関節検査に変更しました。物理制約(J4_SAFE /
  wr.JOINT_LIMITS)を個別に並べるのではなく、load_envelope() が返す lo/hi 
  そのもので 6 関節を検査しています。lo/hi は 学習データ ±10° ∩ 
  JOINT_LIMITS(hard) ∩ J4_SAFE ∩ j1<=J1_SAFE_MAX なので、codex
  の修正案より狭い範囲を見ていることになります(この包含関係は codex も
  load_envelope を読んで確認済み)。

  - target[k] < lo[k] - 1e-6 または > hi[k] + 1e-6
  で違反。外れた関節ごとに「関節・値・範囲」を 1 行ずつ。再クランプなし
  - 非有限値は即 1 件返す
  - 停止時は [ABORT] を各行表示し、rec["unsafe"](理由)と
  rec["envelope"](lo/hi)を log.jsonl に残す
  - HOME 復帰はこの検査を通さない: --execute かつ --auto でないときだけ
  h=HOMEに戻して終了 / 他=そのまま終了 を出し、h なら
  _send_and_wait_arrival(HOME, ...) を送って終了。通常(安全な目標)の Enter
  確認の選択肢は 1 文字も変えていません

  確かめたこと(すべて送信なし・アーム未接続)

  1. codex の例(現在 j4=+100°・予測 +90°・上限 20°)→ 止まる

  apply_limits の目標: j4=+80.00
    [LIMIT] j4 安全範囲でクランプ +90.0→+10.4
    [LIMIT] j4 移動量 -89.6° を ±20° に制限
    [ABORT] j4 +80.00° が安全範囲 [-90.00, +10.43] の外 (j4 の範囲は 学習データ ∩
  J4_SAFE [-90, +60])
  参考: j1 と有限値だけの旧ガードでは「送れる」判定 ← C2 で塞いだ穴

  2. 今朝のたたんだ姿勢からの最初のチャンク → 送れる

  runs/pi05_policy/pi05_20261021_082212 の chunk0 の実測値を使いました(j0=-0.08
  j1=+92.54 j2=+1.14 j3=+1.75 j4=-95.97 j5=-29.26)。

  予測 (plan_chunk):   j1=+93.94  j4=-95.88
  apply_limits の目標: j1=+88.00  j4=-90.00   ←
  どちらもクランプされ、移動量の制限には当たらない
  判定: 送れる

  肩 -4.54°・j4 +5.97° の移動で、どちらも範囲内へ戻る目標なので通ります。codex
  も「判定対象は最終目標であって範囲外の現在角そのものではないので、これで正しい
  」と確認しています。

  3. 今朝の通常運転 20 チャンク → 0/20 で停止なし

  pi05_20261021_082645/log.jsonl の state と actions から plan_chunk →
  apply_limits → check_send_safe を再現し、20 チャンクすべて「送れる」。

  chunk  0: 送れる  目標   -2.16   +5.13   +1.74   +0.98   -5.03  -29.98
  chunk  5: 送れる  目標  -34.26  +61.83  +16.87   +4.25  -75.09  -29.71
  chunk 19: 送れる  目標  -33.89  +66.68  +16.79   +4.26  -76.09  -29.68
  止まったチャンク: 0/20

  (余談ですが、chunk 6 以降は目標がほぼ動いていません。j1≈66 / j4≈-76
  で張り付いていて、これが LOG358 の「真上で止まった」状態そのものです。)

  4. 1e-6 の余裕 — 上限ちょうど(88.0)→ 送れる / 上限 +1e-5 →
  止まる。複数関節が同時に外れた場合は 3 行すべて表示、非有限値は 1
  件で返ります。

  codex の C2 レビュー結果

  ▎ C2 は閉じています。通常チャンクの範囲外指令を止める修正は問題なしです。必須指
  ▎ 摘はありません。

  確認された点: lo/hi 検査は C2 の物理制約検査を包含し学習範囲でさらに絞っている
  / 検査位置はそのチャンクの送信・グリッパー操作より前 / finally
  にアーム操作は無い / HOME 例外の実装と
  --auto・ドライランで入力を求めない判断は復帰仕様に合っている / 1e-6
  は今回の演算誤差の許容として妥当 / 検証 2 の「送れる」は正しい。

  新規は推奨 1 件(C2-1・未反映): ABORT レコードの書き込みが確認入力と HOME
  復帰の後にあるため、入力待ちや HOME 復帰中に Ctrl-C が入るとそのチャンクの
  unsafe / envelope が残らない。また _send_and_wait_arrival
  の戻り値を見ていないので、HOME が未到達でも home_return=True
  と記録される。修正案は「入力前にレコードを書いて flush し、HOME は
  home_requested と home_arrived=bool(ok) を別レコードに残す」。

  commit

  901758d — pi05/run_policy_client.py
  のみ個別指定。pi05/build_demo_episodes.py(LOG352)は未コミットのまま。作業ログ
  logs/20261021_0933.md に C2 の節を追記(未コミット)。

  未反映の指摘は、C2-1(推奨・ログの記録順)、3 回目の必須 1 件(framing の
  response 下限)、推奨の dx 上限・終了コード・開始時グリッパー・try/finally
  です。入れるものを指示ください。

朝の実機の 20 チャンクを同じ計算でたどり直すと、1回も止まりませんでした。検査が厳しすぎて、ふつうに動く場面まで止めていないことも確かめています。

上カメラの写り方は、開始時の1枚目をお手本の最初のコマと比べて確かめる

カメラの写り方の確認も、run_policy_client.py に入れました。HOME にいる状態の1枚目を、--raw-dir の最初のお手本の最初のコマ(同じく HOME)と cv2.phaseCorrelate で比べます。次の3つのどれかに当たれば、アームに何も送らずに終了します。

判定条件理由
ずれ
上下のずれ(dy)か左右のずれ(dx)が 20 ピクセルを超える
お手本どうしでも、ブロックの位置の違いで 9 ピクセルほど揺れるため、その外側に線を引いた
測れない
2枚の似ている度合い(response)が 0.20 未満
似ていない2枚では、ずれの値そのものが当てにならない
測れない値が数でない(NaN など)同上

あわせて、開始時にグリッパーを開く操作を、写り方の確認と送る前の検査が通り、Enter で実行を選んだあとへ移しました。確認が通るまで、アームには何も送りません。そのかわり、始める前に爪が閉じていたら、手で開けておく必要があります(起動時に表示が出ます)。

iPhone を付けたあとに位置を合わせる画面 camera_align.py も作りました。上カメラのライブ映像に、お手本の最初のコマを半透明で重ね、ずれと判定を画面の隅に出します。表示だけで、ファイルには何も書きません。

最後の修正の報告です。カメラと Pi のデーモンを偽物に置き換えて main() を動かし、写り方が「ずれ」「測れない」のときは、アームへの呼び出しが1件もないことを確かめています。

06_sec17.txt5,201字・115行・text
 6 件すべて入れて commit しました(05e1b8b)。codex の最後のレビューは
  「必須の指摘なし」 です。コード変更はここで締め切りです。

  入れた 6 件

  1. response 下限 FRAMING_MIN_RESPONSE = 0.20。framing_verdict(dx, dy, response)
  が OK / ずれ / 測れない を返し、下限未満か非有限値なら「測れない」として dx/dy
  を信用しません
別のタブで開く保存

10/17 の画像は、ずれの値だけ見れば dy +8.2・dx −2.5 で「OK」になるところでした。似ている度合いが 0.05 と低いので、ずれの値そのものが当てにならないと判定されています。codex の最終レビューは「必須の指摘なし」でした。ただし codex は、しきい値は手元の実測の画像で正しく分かれることを確かめただけで、まだ測っていない画像すべてで誤って通さないとまでは言えない、と書いています。

最後に、trim2 を作った build_demo_episodes.py を commit しました。このとき Claude Code が、データの作られた時刻と中身から、元の teach_v1 は --trim-mid-idle を入れる前の版で作られていたことを確かめ、こちらの依頼文の前提(teach_v1 もこの版で作った)を訂正しています。

 commit しました(80932d1)。pi05/build_demo_episodes.py と
  logs/20261021_0933.md の 2 ファイル個別指定です。

  1 点、前提を訂正します

  commit メッセージを書く前に生成元を確認したところ、この版で作ったのは 
  teach_v1_trim2(と teach_v1_trim)だけで、teach_v1
  は別の(前の)版で作られています。

  ┌────────────────┬────────────────────┬─────────────────────┬─────────────┐
  │  データセット  │    index.json      │      meta の        │   npz の    │
  │                │     の生成時刻     │    trim_mid_idle    │   t_orig    │
  ├────────────────┼────────────────────┼─────────────────────┼─────────────┤
  │ teach_v1       │ 2026-10-19 19:53   │ キーなし            │ なし        │
  ├────────────────┼────────────────────┼─────────────────────┼─────────────┤
  │ teach_v1_trim  │ 2026-10-21 08:37   │ True                │ あり        │
  ├────────────────┼────────────────────┼─────────────────────┼─────────────┤
  │ teach_v1_trim2 │ 2026-10-21 08:47   │ True                │ あり        │
  └────────────────┴────────────────────┴─────────────────────┴─────────────┘

  trim_mid_idle / steps_before_mid_trim / mid_idle_trimmed_steps の 3 キーと
  t_orig はこの差分で追加されたものです。teach_v1 の meta
  にはどれも無いので、teach_v1 はこの版より前(--trim-mid-idle
  を入れる前)に作られています。LOG352 の採否ゲート部分が入っていたかは meta
  に痕跡が残らないので判定できません。

  スクリプトの mtime は 10-21 08:46 で、trim2
  の生成(08:47)直前・以降は未編集です。つまり作業ツリーの版 = trim2 
  を作った版で間違いありません(16:30 で使うモデルの学習データ)。

  commit メッセージにはこの事実関係どおりに書きました:

  **この版で mecharm_redblock_box_teach_v1_trim2 を作った** (2026-10-21 08:47.
  その前に同じ版で teach_v1_trim を 08:37 に作っている). 16:30 の実機テストで使う
  モデルは trim2 で学習したものなので, 再現できるようにこの版を記録する.
  teach_v1 (2026-10-19 19:53) は --trim-mid-idle を入れる前の版で作ったもので,
  meta.json に trim_mid_idle 系のキーが無い.

  「teach_v1 もこの版で作った」という認識がもし正しいのであれば(私が見落としてい
  る経緯があるなら)、git commit --amend で直せます。

  差分の中身(読んで確認した範囲)

  LOG352 の採否ゲート: recording_enabled=False →
  no_recording、gripper_state_uncertain → 不採用、gripper_check.verified=false
  を独立ゲートで弾く(codex R6 M3)、result が completed /
  completed_with_failures 以外は不採用(result
  が無い旧試行は人の判定のみ)、ensure_ssd を is_mount() 化(codex
  R5)。--include-failed でも迂回させない作りになっています。

  LOG358 の --trim-mid-idle: 停止ステップの定義は 6 関節すべて |action - state| <
  0.3° かつ グリッパーの action == state — 今日作った check_dataset.py の項目 2
  と同じ定義です。区間の先頭 2 ステップを残す / 0.5°
  のドリフトで区間を切る(R1)/ グリッパー切替前後を必ず残す(R2)/
  詰めた後に関節 6 列の action を作り直す(R3)/ t を等間隔に振り直して t_orig
  に原時刻を残す(R4)/ 非 trim データセットへの上書きを
  ABORT(R6)。既定(オプション未指定)では従来と同一出力です。

  py_compile は通り、send_coords の追加や time.sleep の削除・短縮はありません。

  残したもの

  - pi05/build_demo_episodes.py.bak_pre_LOG352_20261019
  は未追跡のまま(退避用のバックアップなので commit
  していません。必要なら追加します)
  - dynamic_tracking_limits/ observe/ visual_servo_pick.py
  などの未コミット分は今日触っておらず、そのままです

  今日の commit は 5 本(47d091c → 80932d1)、対象は pi05 配下の 5
  ファイルと作業ログ 1 ファイルです。

この回の commit は次の5本です(~/r2r2r-scripts)。どれも、変えたファイルを1つずつ指定して入れています。

commit中身
47d091c
学習前のデータ点検 check_dataset.py、クライアントの肩の上限と --raw-dir の必須化、答え合わせ eval_policy_offline.py
4d79df6
送る前の検査(肩)と上カメラの写り方の確認、camera_align.py(codex R1・R3)
901758d
送る前の検査を6関節すべてに広げた(codex C2)
05e1b8b
写り方の判定に response の下限と dx の上限を足し、残りの指摘を入れた
80932d1
build_demo_episodes.py(LOG352 の採否ゲートと、この回の --trim-mid-idle。この版で teach_v1_trim2 を作った)

16時26分に学習が終わり、同じ Pod で推論サーバーを起動した

trim2 の学習は、4,000 ステップを 7時間22分38秒で終えました(A40・1ステップ平均 6.6 秒)。Pod から持ち帰った train.log の、500 ステップごとの loss です。

Steploss
00.1104
5000.0091
10000.0057
15000.0046
20000.0040
25000.0036
30000.0028
35000.0026
39500.0021

学習の最後の行と、保存の終わりの行です。

07:26:11.448 [I] Progress on: 4.00kit/4.00kit rate:10.0s/it remaining:00:00 elapsed:7:22:38 postfix:- (3037:tqdm_logging.py:145)
07:26:14.748 [I] [process=0][thread=save_finalize][step=3999] CheckpointManager Save Finalize is syncing with other hosts... (3037:checkpoint_manager.py:2095)
07:26:14.748 [I] [process=0][thread=save_finalize][step=3999] CheckpointManager Save Finalize is done on all hosts. (3037:checkpoint_manager.py:2110)
07:26:14.748 [I] [process=0][thread=MainThread][step=3999][wait_until_finished] Done waiting for Save Finalize thread (save_finalize) running at step=3999. (3037:checkpoint_manager.py:2010)
1000  2000  3000  3999

学習に使った Pod で、そのまま推論サーバーを起動しました。朝のように、モデルを Mac から送り直す必要はありません。

cd /workspace/openpi
uv run scripts/serve_policy.py policy:checkpoint --policy.config=pi05_mecharm_trim_lora --policy.dir=checkpoints/pi05_mecharm_trim_lora/trim2_v1/3999 2>&1 | tee /workspace/logs/serve.log
07_sec18.txt4,001字・45行・text
INFO:root:Loading model...
INFO:2026-10-21 08:59:21,903:jax._src.xla_bridge:925: Unable to initialize backend 'rocm': module 'jaxlib.xla_extension' has no attribute 'GpuAllocatorConfig'
INFO:jax._src.xla_bridge:Unable to initialize backend 'rocm': module 'jaxlib.xla_extension' has no attribute 'GpuAllocatorConfig'
INFO:2026-10-21 08:59:21,905:jax._src.xla_bridge:925: Unable to initialize backend 'tpu': INTERNAL: Failed to open libtpu.so: libtpu.so: cannot open shared object file: No such file or directory
INFO:jax._src.xla_bridge:Unable to initialize backend 'tpu': INTERNAL: Failed to open libtpu.so: libtpu.so: cannot open shared object file: No such file or directory
INFO:absl:orbax-checkpoint version: 0.11.13
INFO:absl:Created BasePyTreeCheckpointHandler: use_ocdbt=True, use_zarr3=False, pytree_metadata_options=PyTreeMetadataOptions(support_rich_types=False), array_metadata_store=<orbax.checkpoint._src.metadata.array_metadata_store.Store object at 0x7cf4d44a7950>
INFO:absl:Restoring checkpoint from /workspace/openpi/checkpoints/pi05_mecharm_trim_lora/trim2_v1/3999/params.
別のタブで開く保存

正規化の値は trim2 のもの(mecharm_redblock_box_teach_v1_trim2)を読み込んでいます。

写り方の確認は、アームがたたんだ姿勢のままだと「測れない」になった

ここから下は、Mac のターミナルの記録をそのまま載せています。最初に camera_align.py を開くと、似ている度合い(response)が 0.02〜0.04 しかなく、「測れない」が続きました。

08_sec19.txt5,252字・55行・text
Last login: Wed Oct 21 09:12:28 on ttys003
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ % ssh -i ~/.ssh/id_rsa_pi ubuntu@192.168.2.1 'ss -ltn | grep 5555' || { ssh -i ~/.ssh/id_rsa_pi ubuntu@192.168.2.1 "setsid nohup python3 /home/ubuntu/mecharm_daemon.py </dev/null >>/home/ubuntu/daemon.log 2>&1 &"; sleep 5; ssh -i ~/.ssh/id_rsa_pi ubuntu@192.168.2.1 'tail -3 ~/daemon.log; ss -ltn | grep 5555'; }
[DAEMON 14:35:27] ✓ MyCobot 初期化完了
[DAEMON 14:35:27] startup_warmup angles=[-0.26, 92.54, 1.66, -1.49, -96.32, -29.7]
[DAEMON 14:35:27] ポート 5555 で待ち受け中...
LISTEN0      1                                 0.0.0.0:5555        0.0.0.0:*    
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ % cd ~/r2r2r-scripts
RAW=/Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_teach_v1_trim2/raw_episodes
別のタブで開く保存

原因は iPhone の位置ではなく、アームがたたんだ姿勢(j1 +92.5°・j4 −96.3°)のままだったことです。基準の画像は HOME の姿勢なので、腕の写り方が大きく違い、2枚が似ていないと判定されました。HOME に戻すスクリプト 08_home_from_anywhere.py(Pi のデーモンに HOME を送るだけのもの)で戻してから開き直すと、すぐに「OK」になりました。途中の「測れない」は、iPhone の位置を手で直している最中のコマです。

09_sec19.txt4,383字・56行・text
(base) shimazueiichi@shimadzueiichinoMacBook-Pro r2r2r-scripts % cd ~/r2r2r-scripts
python3 dynamic_tracking_limits/place/place_modules/08_home_from_anywhere.py
[INIT] daemon 接続中...
  [WARN] fresh_mode切替不可: daemon error: set_fresh_mode is not available in this pymycobot environment
[INIT] fresh_mode=1
[PRE]  現在姿勢: [-0.26, 92.54, 1.66, -1.49, -96.32, -29.70]
[SEND] HOME へ移動指令
[WAIT] t=2.1s  max_err=11.25°
別のタブで開く保存
camera_align.py の画面。上カメラのライブ映像にお手本の最初のコマを半透明で重ね、左上に OK と dy −0.9・dx +1.8 が出ている

お手本との答え合わせは、166回の問い合わせで「止まり」が0回だった

eval_policy_offline.py で、お手本の画像と角度をサーバーに送りました。位置ごとに1本ずつ、5本を3ステップおきに問い合わせる設定です。全部で6分ほどかかる見込みのところ、4本目の途中まで流したところで実機に進むことにして、Ctrl-C で止めています。

10_sec20.txt14,044字・193行・text
(base) shimazueiichi@shimadzueiichinoMacBook-Pro r2r2r-scripts % python3 pi05/eval_policy_offline.py --raw-dir $RAW
[EVAL  ] お手本 5 本 / 3 ステップおき / 記録 /Volumes/KIOXIA/r2r2r-data/lab/Log11/offline_eval/20261021_180539
         run_0001_20261019_193404
         run_0001_20261019_183454
         run_0001_20261019_192343
         run_0001_20261019_192539
         run_0001_20261019_194818
[POLICY] 接続 ws://localhost:8000
別のタブで開く保存

途中で止めたため最後の集計は出ていないので、それまでに書き出された rows.csv を集計しました。

# 答え合わせ (途中で止めた回) の rows.csv を集計する (LOG358)
import csv, os, statistics
ROOT = os.environ.get("R2R2R_DATA", "/Volumes/KIOXIA/r2r2r-data")
rows = list(csv.DictReader(open(ROOT + "/lab/Log11/offline_eval/20261021_180539/rows.csv")))
print("問い合わせ", len(rows), "止まり", sum(int(r["stuck"]) for r in rows), "グリッパーの食い違い", sum(int(r["grip_mismatch"]) for r in rows))
print("ずれの平均の中央値 %.2f°  最大 %.2f°" % (statistics.median(float(r["err_mean"]) for r in rows), max(float(r["err_max"]) for r in rows)))
for ep in sorted(set(r["episode"] for r in rows)):
    rs = [r for r in rows if r["episode"] == ep]
    print(" ", ep, "問い合わせ", len(rs), "止まり", sum(int(r["stuck"]) for r in rs), "ずれ中央値 %.2f°" % statistics.median(float(r["err_mean"]) for r in rs))
問い合わせ 166 止まり 0 グリッパーの食い違い 7
ずれの平均の中央値 0.25°  最大 9.91°
  run_0001_20261019_183454 問い合わせ 48 止まり 0 ずれ中央値 0.26°
  run_0001_20261019_192343 問い合わせ 47 止まり 0 ずれ中央値 0.24°
  run_0001_20261019_192539 問い合わせ 16 止まり 0 ずれ中央値 0.24°
  run_0001_20261019_193404 問い合わせ 55 止まり 0 ずれ中央値 0.25°

166回の問い合わせで、「お手本は1秒で 2° 以上動くのに、予測は 0.5° 未満」という止まりは0回でした。朝に止まった「真上で待つ」場面(183454 の t=45〜57)でも、予測はお手本と同じように下ろし始めています。予測とお手本のずれの平均は、中央値で 0.25° です。大きく外れたのは 192343 の t=69 の1回(最大 9.9°)だけで、グリッパーの開け閉めは7回、1ステップ(0.1 秒)早いか遅いかの違いがありました。

実機の1回目(18:09)は、止まらずに下ろして閉じたが、ブロックの手前で空を握った

ドライランで、写り方が OK のまま、ブロックへ腕を伸ばす向きの予測が出ることを確かめてから、実機で動かしました。

11_sec21.txt14,141字・177行・text
(base) shimazueiichi@shimadzueiichinoMacBook-Pro r2r2r-scripts % python3 pi05/run_policy_client.py --raw-dir $RAW --max-chunks 5
[SAFE  ] 安全範囲 (学習 19 本 ±10°): j0[-72,+55]  j1[-9,+88]  j2[-46,+41]  j3[-18,+27]  j4[-90,+10]  j5[-51,-14]
[SAFE  ] 肩 j1 の上限は J1_SAFE_MAX=88° で切った (これを超える指令はアームが黙って捨てる / LOG352)  元データ: /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_teach_v1_trim2/raw_episodes
[MODE  ] DRY-RUN (アームには送らない)  steps/chunk=5  max_move=20.0°  log=/Volumes/KIOXIA/r2r2r-data/runs/pi05_policy/pi05_20261021_180851
[CAMERA] 写り方 dy=-0.9 dx=+1.7 response=0.691 → OK (|dy|<=20 / |dx|<=20 / response>=0.20)
[CAMERA] 基準: /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_teach_v1_trim2/raw_episodes/run_0001_20261019_183454/frames/000000.jpg
[POLICY] 接続 ws://localhost:8000  metadata={}
[000] 推論 547ms  5ステップ先  Δ= -5.8 +11.5  -1.1  +1.7 -12.2  -1.0
別のタブで開く保存

朝は チャンク 06 で止まりましたが、この回は止まらずに下ろし続け(肩 j1 61.8° → 78.3°)、チャンク 11 でグリッパーを閉じています。ただ、閉じたのはブロックの手前で、何もつかんでいません。横から撮った動画です(6秒おきのコマ)。

18:09 の回を横から撮った動画のコマ。0:30 前後で爪がブロックの横で閉じ、そのあと腕がマットの中央へ回っている

つかみ損ねたあと、土台を +13° まで回し、別の位置でつかむときの姿勢で下げ続けた

閉じたあと、アームは土台 j0 を −36° から +13° まで回し、そこで1回 1〜2° ずつ下げ続けました。箱に入れるときの姿勢とは違います。お手本19本の「閉じた姿勢」と「開いた姿勢」を並べました。

# お手本 19 本で、グリッパーを閉じた姿勢と開いた姿勢 (j0..j4) を並べる (LOG358)
import numpy as np, glob, os
ROOT = os.environ.get("R2R2R_DATA", "/Volumes/KIOXIA/r2r2r-data")
os.chdir(ROOT + "/datasets/mecharm_redblock_box_teach_v1_trim2/raw_episodes")
for p in sorted(glob.glob("*/episode.npz")):
    s = np.load(p)["state"]; ch = np.where(np.diff(s[:, 6]) != 0)[0] + 1
    c, o = ch[0], ch[1]
    print(os.path.dirname(p)[-15:], "close j", np.round(s[c, :5], 1), " open j", np.round(s[o, :5], 1))
20261019_183454 close j [-36.4  81.6   7.9   3.5 -87.7]  open j [ 44.4  60.8   7.6   9.9 -74.6]
20261019_191257 close j [-34.8  87.9 -34.    7.1 -45.9]  open j [ 44.6  70.3  -8.3  11.7 -65.7]
20261019_191347 close j [-34.7  87.9 -34.    6.5 -46.3]  open j [ 44.6  70.3  -8.3  11.6 -65.8]
20261019_191441 close j [-35.7  87.5 -35.5   6.8 -40.5]  open j [ 44.6  70.3  -8.4  11.6 -65.8]
20261019_191541 close j [-35.7  87.9 -34.    6.4 -46.1]  open j [ 44.5  70.3  -8.3  11.6 -65.7]
20261019_191635 close j [-35.5  87.9 -34.    6.4 -46.1]  open j [ 44.6  70.3  -8.3  11.6 -65.8]
20261019_192343 close j [-27.7  63.7  14.1  -7.6 -61.2]  open j [ 41.1  62.9   2.8   3.5 -68.5]
20261019_192438 close j [-27.8  63.7  14.1  -7.7 -61.4]  open j [ 40.9  62.9   2.7   3.5 -68.8]
20261019_192539 close j [-27.2  63.7  14.1  -7.7 -61.4]  open j [ 41.   62.9   2.9   3.6 -69. ]
20261019_192633 close j [-27.4  63.7  14.1  -7.6 -61.4]  open j [ 41.   62.9   2.9   3.6 -69.1]
20261019_193404 close j [-61.6  62.5  14.8   1.5 -60.7]  open j [ 43.8  63.4  -3.3   7.4 -61.7]
20261019_193459 close j [-61.6  62.4  14.8   1.1 -60.8]  open j [ 43.7  63.4  -3.3   7.4 -62. ]
20261019_193617 close j [-61.7  62.4  14.8   1.1 -60.8]  open j [ 43.8  63.4  -3.3   7.5 -61.7]
20261019_193825 close j [-61.5  62.3  13.9   1.3 -58. ]  open j [ 43.8  63.4  -3.3   7.5 -61.7]
20261019_193932 close j [-61.6  62.5  14.8   1.2 -60.7]  open j [ 43.8  63.4  -3.3   7.4 -61.7]
20261019_194818 close j [ 13.2  60.   19.5  -2.5 -61.5]  open j [ 42.9  66.9  -4.7   6.2 -60.8]
20261019_194913 close j [ 12.8  60.   19.4  -3.6 -61.6]  open j [ 42.8  66.9  -4.6   6.7 -60.9]
20261019_195023 close j [ 12.8  60.   19.4  -3.4 -61.5]  open j [ 43.1  66.9  -4.7   6.3 -60.9]
20261019_195120 close j [ 12.9  60.   19.4  -3.1 -61.5]  open j [ 42.9  67.   -4.4   6.4 -60.7]

箱の上で開く姿勢は、どの位置のお手本でも j0 +41〜+45° です。一方、j0 +13° で下げていた姿勢(j1 59〜60°・j2 20〜32°・j4 −67〜−76°)は、位置E(194818〜195120)でブロックをつかむときの姿勢(j0 +13°・j1 60.0°・j2 19.4°・j4 −61.5°)に近いものでした。お手本では、グリッパーを閉じたあとは必ずブロックを持っています。「閉じているのに何も持っていない」状態はお手本にないので、別の位置のつかむ動きが出てきたのだと考えています。止まったのではなく、少しずつ動き続けていました。

18:09 の回のブロックの位置と、お手本のブロックの位置を、上カメラの最初のコマで比べました。

18:09 の回の最初のコマと、お手本の位置A・B・C の最初のコマ、18:09 の回の閉じる直前と j0 +13° のコマ
# 上カメラの最初のコマで、赤いブロックの位置 (いちばん大きい赤い塊の中心, 384x216 の画像の座標) を出す (LOG358)
import cv2, numpy as np, os
ROOT = os.environ.get("R2R2R_DATA", "/Volumes/KIOXIA/r2r2r-data")
os.chdir(ROOT)
def red(p):
    im = cv2.imread(p); hsv = cv2.cvtColor(im, cv2.COLOR_BGR2HSV)
    m = ((hsv[..., 0] < 8) | (hsv[..., 0] > 170)) & (hsv[..., 1] > 120) & (hsv[..., 2] > 80)
    n, lab, st, cen = cv2.connectedComponentsWithStats(m.astype(np.uint8))
    k = 1 + np.argmax(st[1:, 4]); return tuple(np.round(cen[k], 1)), int(st[k, 4])
D = "datasets/mecharm_redblock_box_teach_v1_trim2/raw_episodes/"
items = [("demo A 183454", D + "run_0001_20261019_183454/frames/000000.jpg"), ("demo B 191257", D + "run_0001_20261019_191257/frames/000000.jpg"),
         ("demo C 192343", D + "run_0001_20261019_192343/frames/000000.jpg"), ("demo D 193404", D + "run_0001_20261019_193404/frames/000000.jpg"),
         ("demo E 194818", D + "run_0001_20261019_194818/frames/000000.jpg")]
items += [(d, f"runs/pi05_policy/pi05_20261021_{d}/frames/0000.jpg") for d in ["180924", "182013", "182130", "182945", "183033", "183114", "183151", "183245"]]
for n, p in items:
    (x, y), area = red(p)
    print(f"{n:16s} x={x:6.1f} y={y:6.1f} 画素数={area}")
demo A 183454    x= 121.7 y= 115.7 画素数=15
demo B 191257    x= 113.9 y= 131.4 画素数=17
demo C 192343    x= 148.8 y= 127.9 画素数=27
demo D 193404    x=  92.2 y=  76.5 画素数=200
demo E 194818    x= 233.5 y= 139.7 画素数=18
180924           x= 109.0 y= 126.3 画素数=60
182013           x= 136.7 y= 131.1 画素数=23
182130           x= 135.9 y= 123.4 画素数=40
182945           x= 141.4 y= 129.6 画素数=30
183033           x= 135.1 y= 130.5 画素数=34
183114           x= 178.0 y=  34.5 画素数=14
183151           x= 176.2 y=  17.8 画素数=13
183245           x= 109.0 y= 121.7 画素数=51

赤い塊の中心で見ると、18:09 の回のブロック(x=109・y=126)は、位置A(1本)と位置B(5本)の間です(183114 と 183151 の行は、ブロックではなくアームの赤い配線を拾っているので使いません)。位置AとBは同じ向き(j0 −35° 前後)ですが、つかむ姿勢がまったく違います。位置Aは j2 +7.9°・j4 −87.7°、位置Bは j2 −34°・j4 −46° で、Bのほうが腕を遠くまで伸ばしています。18:09 の回の閉じた姿勢(j2 +2.5°・j4 −69.6°)は、その間でした。

学習前の点検 check_dataset.py は、位置を「つかむ瞬間の j0 を 5° 刻み」で分けているため、AとBを同じ1か所(6本)として数えていました。同じ向きで距離だけが違う位置を、この点検では見分けられません。

ただし、つかみ損ねた原因はこれだと決められていません。このあと 18:32 の回では、ほぼ同じ場所のブロックをつかめているからです(後述)。

2回目と3回目(18:20・18:21)は、つかんだが持ち上げずに引きずり、箱の手前で離した

HOME に戻し、前の回で閉じたままだったグリッパーを開け、写り方を確かめ直してから、ブロックを置き直して2回動かしました。

12_sec23.txt16,148字・206行・text
(base) shimazueiichi@shimadzueiichinoMacBook-Pro r2r2r-scripts % 08_home_from_anywhere.py
zsh: command not found: 08_home_from_anywhere.py
(base) shimazueiichi@shimadzueiichinoMacBook-Pro r2r2r-scripts % python3 dynamic_tracking_limits/place/place_modules/08_home_from_anywhere.py
[INIT] daemon 接続中...
  [WARN] fresh_mode切替不可: daemon error: set_fresh_mode is not available in this pymycobot environment
[INIT] fresh_mode=1
[PRE]  現在姿勢: [0.08, 1.31, 1.58, 0.26, -0.26, -30.23]
[SEND] HOME へ移動指令
別のタブで開く保存

18:20 の回は、つかむ前のチャンク 09 で h を押して止めています(止めた理由は記録していません)。18:21 の回は、チャンク 11 でブロックをつかみ、土台を −31° から +27° まで回して、チャンク 25 で開いています。そのあと「閉じる」「開く」を繰り返しました。

18:20 と 18:21 の回を横から撮った動画のコマ。後半でブロックをつかんだまま、マットに付けて引きずっている

動画では、ブロックをつかんだまま、マットに付けて引きずっています。位置C(192343)のお手本で、閉じてから開くまでの角度を 0.4 秒おきに並べ、18:21 の回と比べました。

# 位置 C のお手本 (192343) の、閉じてから開くまでの j0 j1 j2 j4 を 0.4 秒おきに並べる (LOG358)
import numpy as np, os
ROOT = os.environ.get("R2R2R_DATA", "/Volumes/KIOXIA/r2r2r-data")
os.chdir(ROOT + "/datasets/mecharm_redblock_box_teach_v1_trim2/raw_episodes")
s = np.load("run_0001_20261019_192343/episode.npz")["state"]
ch = np.where(np.diff(s[:, 6]) != 0)[0] + 1; c, o = ch
print("demo C 192343 close", c, "open", o, "len", len(s))
for t in range(c, o + 3, 4):
    print(" t", t, np.round(s[t, [0, 1, 2, 4]], 1), "g", int(s[t, 6]))
demo C 192343 close 56 open 109 len 140
 t 56 [-27.7  63.7  14.1 -61.2] g 1
 t 60 [-27.8  63.7  13.9 -62.1] g 1
 t 64 [-27.8  62.1  16.2 -64.7] g 1
 t 68 [-27.8  60.5  18.5 -67.3] g 1
 t 72 [-24.1  58.6  19.  -68.1] g 1
 t 76 [-13.1  55.9  16.6 -66.1] g 1
 t 80 [ -2.2  53.2  14.2 -64.1] g 1
 t 84 [  9.6  50.3  11.3 -61.2] g 1
 t 88 [ 21.8  47.3   8.1 -57.8] g 1
 t 92 [ 33.5  44.9   5.1 -54.4] g 1
 t 96 [ 41.1  47.2   3.3 -54.2] g 1
 t 100 [ 41.1  54.    3.1 -60.1] g 1
 t 104 [ 41.1  60.9   2.9 -66.1] g 1
 t 108 [ 41.1  62.9   2.8 -68.5] g 1
場面
お手本(位置C・192343)
18:21 の回
閉じた姿勢j1 63.7°
j1 69.0°(お手本より5°深い)
持ち上げ
j1 63.7° → 44.9°(19° 上げる)、そのあと回す
j1 69.0° → 62.7°(6° しか上げない)、上げきる前に回し始めた
離した場所
j0 +41.1°(箱の上)、j1 62.9°
j0 +25.7°、j1 62.7°

お手本の持ち上げは、閉じた直後の 0.8 秒ほどがとてもゆっくりで(j1 が 1.6° しか変わらない)、そのあと速くなります。クライアントは、1秒分の予測のうち最初の 0.5 秒(5ステップ)だけを動かして、また予測し直します。そのため、毎回「持ち上げ始めのゆっくりした部分」だけを繰り返して、低いまま回し始めたのだと考えました。

早く離したのも、ここから説明がつきます。低いまま運んだので、関節の角度(j1 約 63°)が、お手本の「箱の上で下ろし終えて、離す直前」(j1 62.9°)とほぼ同じになりました。そのため、箱に着く前に「離す」の予測が出ています。

1秒分を全部動かすと、箱の位置まで運び、箱の前で離した

1回の予測で1秒分(10ステップ)を全部動かす設定 --steps-per-chunk 10 に変えて、5回動かしました。もともとある設定で、コードは変えていません。

13_sec24.txt16,532字・215行・text
(base) shimazueiichi@shimadzueiichinoMacBook-Pro r2r2r-scripts % python3 pi05/run_policy_client.py --raw-dir $RAW --execute --steps-per-chunk 10
[SAFE  ] 安全範囲 (学習 19 本 ±10°): j0[-72,+55]  j1[-9,+88]  j2[-46,+41]  j3[-18,+27]  j4[-90,+10]  j5[-51,-14]
[SAFE  ] 肩 j1 の上限は J1_SAFE_MAX=88° で切った (これを超える指令はアームが黙って捨てる / LOG352)  元データ: /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_teach_v1_trim2/raw_episodes
[MODE  ] EXECUTE  steps/chunk=10  max_move=20.0°  log=/Volumes/KIOXIA/r2r2r-data/runs/pi05_policy/pi05_20261021_182945
[CAMERA] 写り方 dy=-1.0 dx=+1.3 response=0.673 → OK (|dy|<=20 / |dx|<=20 / response>=0.20)
[CAMERA] 基準: /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_teach_v1_trim2/raw_episodes/run_0001_20261019_183454/frames/000000.jpg
[POLICY] 接続 ws://localhost:8000  metadata={}
[GRIP  ] 開始時のグリッパー開放は, 最初の目標が検査を通ってから行います (爪が閉じていたら手で開けておく)
別のタブで開く保存

最初の4回(18:29・18:30・18:31・18:31)は、つかむ前後で爪とブロックの位置がずれていて、つかめそうになかったので h で止めました。5回目(18:32)は、チャンク 03 でブロックをつかみ、チャンク 04〜08 で土台を −40° から +41° まで回して、チャンク 09 で開いています。開いた位置の j0 +40.7° は、お手本で箱の上で開く位置(+41〜+45°)と同じです。

18:32 の回で π0.5 に渡した上カメラの画像。チャンク03でつかみ、05・07 で運び、09 で箱の前で開いている
18:32 の回を横から撮った動画のコマ。ブロックをマットに付けたまま箱へ運び、箱の壁に当てて、箱の外で離している

ただし、運ぶ間もブロックはマットに付いたままで、箱の壁に当たり、箱の外に落ちました。ブロックをつかんで箱の位置まで運ぶところまではできたが、持ち上げる高さが足りなかった、というのがこの日の夕方の結果です。

運ぶ間に手首 j4 が +18° 動き、肩で上げた分を打ち消していた

18:32 の回では、肩はお手本と同じだけ上げています。違ったのは手首です。夕方の各回の、チャンクごとの角度を出しました。

# 夕方の実機の各回: 1 チャンクごとの state (j0 j1 j2 j4・グリッパー) とグリッパーの指令 (LOG358)
import numpy as np, json, glob, os
ROOT = os.environ.get("R2R2R_DATA", "/Volumes/KIOXIA/r2r2r-data")
os.chdir(ROOT + "/runs/pi05_policy")
for d in sorted(glob.glob("pi05_20261021_18*")):
    rows = [json.loads(l) for l in open(d + "/log.jsonl")]
    rows = [r for r in rows if "chunk" in r and "state" in r]
    if not rows: continue
    print(d, "chunks", len(rows))
    for r in rows:
        st = np.array(r["state"])
        print("  c%02d" % r["chunk"], np.round(st[[0, 1, 2, 4]], 1), "g", int(st[6] > 0.5),
              "grip_cmd", r.get("grip_cmd"), "executed", r.get("executed"))
14_sec25.txt7,616字・125行・text
pi05_20261021_180851 chunks 5
  c00 [-0.3  1.3  2.  -0.3] g 0 grip_cmd None executed False
  c01 [-0.3  1.3  2.  -0.3] g 0 grip_cmd None executed False
  c02 [-0.3  1.3  2.  -0.3] g 0 grip_cmd None executed False
  c03 [-0.3  1.3  2.  -0.3] g 0 grip_cmd None executed False
  c04 [-0.3  1.3  2.  -0.3] g 0 grip_cmd None executed False
pi05_20261021_180924 chunks 40
  c00 [-0.3  1.3  2.  -0.3] g 0 grip_cmd None executed True
別のタブで開く保存
お手本(位置C・運んでいる途中・t=92)
18:32 の回(チャンク 07)
肩 j144.9°44.1°
肘 j25.1°4.3°
手首 j4−54.4°−38.7°

持ち上げの間に、手首 j4 は −56.8° から −38.7° へ +18° 動いています。mechArm 270 は、j4 を + に動かすと爪先が下がります(LOG200 で実測)。肩で上げた分を手首で下げて打ち消し、爪先はマットの高さのままでした。

もう1つ、1秒分を全部動かす設定にしたことで、1回の移動の上限(20°)に当たる関節が増えました(ログの [LIMIT] の行)。この上限は関節ごとに別々にかかるので、土台だけ 20° で止められ、手首は予測どおり動く、ということが起きます。関節どうしの動きの割合が、お手本からずれます。手首が先に進みすぎたのは、これも効いている可能性があります。

夕方の8回を並べると、止まった回は0回だった

時刻1回に動かす長さ結果
18:090.5秒
止まらずに下ろして閉じたが、ブロックの手前で空を握った。そのあと j0 +13° で下げ続けた
18:200.5秒
つかむ前のチャンク 09 で止めた(理由は記録していない)
18:210.5秒
つかんで回したが、持ち上げずに引きずり、j0 +25.7° で離した
18:291秒
爪とブロックの位置がずれていて、つかめそうになかったので、閉じた直後に止めた
18:301秒同じ理由で、閉じる前に止めた
18:311秒同じ理由で、閉じる前に止めた
18:311秒
同じ理由で、閉じた直後に止めた
18:321秒
つかんで箱の位置(j0 +40.7°)まで運び、箱の前で離した。持ち上げが足りず、箱の外に落ちた

朝との違いをまとめると、次のとおりです。

朝(teach_v1)夕方(trim2)
真上で止まる止まった8回とも止まらなかった
つかむ―8回中2回つかんだ
運ぶ―
1回は箱の位置まで運んだ(低いまま)
離す―
箱の前で離した(箱には入らなかった)

Pod を削除する前に、モデル 6GB とログを KIOXIA に持ち帰った

Pod の中のモデル(params・assets・_CHECKPOINT_METADATA)を、大きいファイルから順に4本同時で持ち帰りました。朝は8本同時で Mac のターミナルが固まったので、本数を減らしています。学習を続けるための train_state は持ち帰っていません。

(base) shimazueiichi@shimadzueiichinoMacBook-Pro r2r2r-scripts % P=<SSH_PORT>; IP=<POD_IP>; K=~/.ssh/id_ed25519
R=/workspace/openpi/checkpoints/pi05_mecharm_trim_lora/trim2_v1/3999
D=/Volumes/KIOXIA/r2r2r-data/checkpoints/pi05_mecharm_trim_lora_v1/3999
mkdir -p $D && cd $D
ssh -p $P -i $K root@$IP "cd $R && find params assets -type d" | xargs mkdir -p
ssh -p $P -i $K root@$IP "cd $R && find params assets _CHECKPOINT_METADATA -type f -printf '%s %p\n'" > /tmp/remote_trim2.txt
sort -rn /tmp/remote_trim2.txt | cut -d' ' -f2- | xargs -P 4 -I{} scp -q -P $P -i $K root@$IP:$R/{} {}
while read s f; do [ "$(stat -f %z "$f" 2>/dev/null)" = "$s" ] || echo "不一致: $f"; done < /tmp/remote_trim2.txt; echo "確認おわり"
scp -P $P -i $K -r root@$IP:/workspace/logs /Volumes/KIOXIA/r2r2r-data/lab/Log11/pod_trim2_logs
確認おわり
train.log                                     100%  305KB 241.4KB/s   00:01    
gpu_train.csv                                 100%   43KB  92.0KB/s   00:00    
serve.log                                     100% 4002    10.8KB/s   00:00    
(base) shimazueiichi@shimadzueiichinoMacBook-Pro 3999 %

18:41 に始めて、19:01 に終わりました。そのあと Runpod の画面で Stop → Terminate して、Pod を削除しています。

項目値
モデル
KIOXIA checkpoints/pi05_mecharm_trim_lora_v1/3999/
学習とサーバーのログ
KIOXIA lab/Log11/pod_trim2_logs/(train.log・gpu_train.csv・serve.log)
答え合わせの記録
KIOXIA lab/Log11/offline_eval/20261021_180539/rows.csv
実機の記録
KIOXIA runs/pi05_policy/pi05_20261021_18*/(各チャンクの入力画像と予測)
学習用 Pod の時間と費用
8:45ごろ〜19:03、約10時間20分 × $0.62/時 = 約6.4ドル(約1,011円)

この回で変えた3つのファイルの全文(run_policy_client.py・camera_align.py・build_demo_episodes.py)

実機を動かすクライアント run_policy_client.py の、この回の最後の版(commit 05e1b8b)です。

15_sec28.txt19,530字・436行・text
#!/usr/bin/env python3
"""run_policy_client.py — π0.5 (Runpod の serve_policy) の出力で mechArm 270 を動かす Mac 側クライアント.

流れ (1 チャンクごと):
  上カメラ画像 + 実測 6 軸 + グリッパー状態 → π0.5 → 行動チャンク (10 x 7, 0.1 秒刻みの絶対角)
  → 先頭 N ステップ先 (既定 5 = 0.5 秒先) の姿勢へ単発 send_angles (学習データと同じ速度 20)
  → グリッパーの開閉がチャンク内で切り替わるなら, その直前の姿勢まで動いてから開閉
  → 撮り直して次のチャンクへ
別のタブで開く保存

上カメラの位置合わせの画面 camera_align.py(commit 05e1b8b)です。

16_sec28.txt7,772字・192行・text
#!/usr/bin/env python3
"""camera_align.py — 上カメラの写り方をお手本に合わせる画面 (Mac 側・アームは動かさない).

上カメラの iPhone は普段使いのもので, 毎回付け外しする. 付けるたびに写り方が変わり,
2026-10-21 の実機では お手本より下に大きくずれたまま動かしてしまった
(runs/pi05_policy/pi05_20261021_082645 は dy=+37.5. 1 分前のドライランは dy=-7.8 で正常).
iPhone を付けたあと, この画面で写り方を合わせてから実機に進む.
別のタブで開く保存

お手本を作る build_demo_episodes.py の、teach_v1_trim2 を作った版(commit 80932d1)です。

17_sec28.txt19,711字・504行・text
#!/usr/bin/env python3
"""build_demo_episodes.py — run_pick_place の記録から π0.5 学習用エピソードを作る (Mac 側・段階1).

入力 (1 試行 = 1 run_stem):
  runs/run_pick_place/{run_stem}/{run_stem}.json      判定 (judgments.pick/place.human_verdict)
  runs/run_pick_place/{run_stem}/recording/states.csv  actual (実測6軸) / gripper_cmd / stage 行
  runs/run_pick_place/{run_stem}/recording/top.mp4 + top_frame_log.csv  上カメラ
  (recorder.py --top と run_pick_place.py --record-demo で記録したもの)
別のタブで開く保存

次は、移動量の上限を全関節同じ割合で縮め、持ち上げのところをお手本と比べる

次にやることは3つです。

  1. 移動量の上限を、関節ごとに切るのではなく、全関節を同じ割合で縮めるように直す。関節どうしの動きの割合を、お手本のまま保つため(実機を動かすコードなので、Claude Code が実装し、codex がレビューする)
  2. 持ち上げの場面で、予測の手首 j4 がお手本からずれていないかを、答え合わせのスクリプトで場面ごとに見る
  3. 学習前の点検で、位置を土台の角度だけでなく、上カメラで見たブロックの位置でも分ける。同じ向きで距離が違う位置(AとB)を、別々に数えるため

まだ確かめていないことも残っています。つかみ損ねた原因が、位置AとBの間にブロックを置いたことなのか、0.5 秒ずつ動かしたことなのかは、切り分けられていません。写り方の判定のしきい値も、手元の数枚で決めたものです。