フィジカルAI研究室を作る Log#41 | mechArm 270 の新モデルを実機で試す、失敗は1か所に集中
この記事の素材(コード・ログ・データ 4ファイル・まとめてダウンロードあり)arrow_downwardAIで読む ChatGPT・Claude などで、この記事に質問できます expand_more
Physical Intelligence の π0.5 を、小型ロボットアーム mechArm 270 で撮った10本のお手本(5か所の置き場所に2本ずつ)だけで学習させたモデルは、実機で18回動かして14回ブロックを箱に入れた。失敗した4回はすべて同じ置き場所(位置2)で、爪の電流から見ると4回とも空振りだった。 実物のロボットアームで、学習したモデルを初めて動かした日の記録です。
この回でわかったこと・変わることは次のとおりです。
- 5か所のうち4か所は、全部の回で箱に入った:位置1・3・4・5は11回すべて成功(うち2回は人がゲームパッドで少し直した)。人が直さずに入ったのは18回中12回
- つかめたかどうかが、閉じて1秒後の爪の電流で分かる:持てた回は600〜800、空振りの回は50〜170 で、はっきり二つに分かれた。人が録画を見て判定していた手間を、この数字で減らせる見込み(まだ自動の判定には入れていない)
- 上カメラの傾きをそろえる処理が、19回とも効いていなかったことが分かった:お手本のフォルダにある macOS の付属ファイル(
._で始まるファイル)を画像として読んでいたため。直す依頼を出した - 同じお手本で学習を続けても、位置2は良くならないと判断した:mechArm 270 での学習はここで区切り、置き場所をずらしたお手本は、届く予定の SO-101 で集める
- 費用:実機推論のために借りたクラウドの GPU(Runpod の A40)は52分で約0.51ドル。学習の6.2時間・約3.67ドルは LOG522 に書いた
位置2だけが落ちる原因は、まだ特定できていません。最初は「ブロックをお手本より1cmほどずらして置いていたから」と見立てましたが、記事を書く前に画像を測り直すと、ずれていたのはブロックではなく上カメラの画角全体でした。カメラのずれを差し引くと、ブロックは5か所ともお手本とほぼ同じ所に置けていて、位置2の成功と失敗は置き方では分かれませんでした。
| やったこと | なぜ | 結果 |
|---|---|---|
5か所×2本のお手本で学習したモデルを、実機で19回動かした | 撮り方を変えたお手本(LOG522)で学習した最初のモデルを試すため | 数えた18回のうち成功14回。失敗4回はすべて位置2 |
爪の電流で、持てた回と空振りの回を分けた | 推論の終わりに人が押す成功・失敗の入力を、押し間違えたため | 持てた回600〜800、空振り50〜170。押し間違えた2本を失敗に確定 |
位置2の失敗の原因を、画像と関節の角度で調べた | 失敗が1か所に集まっていたため | 画角が全体に4〜5pxずれていた。ブロックの置き方では分かれなかった |
5か所のブロックを1枚に重ねて見る画を作った | 置き場所を画面で確かめたかったため | 作る途中で、 ._ のファイルを読んでしまう不具合に気づいた |
これ以上 mechArm 270 で学習を続けるかを決めた | 位置2を良くするには、置き場所をずらしたお手本が要るため | ずらしたお手本は SO-101 で集める |
GPU を買うか借りるかの判断は、Runpod で実際に借りて学習させた費用をもとに、別のページにまとめています。
導入比較ガイドロボットAIの学習用GPU、買うか借りるか実際に借りて学習させた費用と、損益分岐の計算機で決められますarrow_forward作業ログ ― split10_v2 を実機で19回動かし、失敗の集まり方を調べた
この記事のコード・ログ・データは、1ファイルずつ下に置いています。全文はリンク先にあります。
ファイルの一覧(4本)
01_KIOXIA.txt ― 上カメラの位置合わせで、KIOXIA の `._` ファイルを基準画像に選んでいた / 位置合わせを単体で動かしたターミナルの全文・45,782字
02_sec01.txt ― 1回目のまとまり:11回動かし、11回目の途中で記録が切れた / 1回目のまとまりの lab_start.sh のターミナルの全文(lab/Log38/lab_start_20261119_191622.txt)・162,353字
03_Pod_8.txt ― 2回目のまとまり:同じ Pod につなぎ直して8回 / 2回目のまとまりの lab_start.sh のターミナルの全文(lab/Log38/lab_start_20261119_195014.txt)・91,449字
04_sec01.txt ― 位置2の原因を調べた:ずれていたのはブロックではなく、上カメラの画角だった / 出力・3,613字
ここから下は作業ログです。ターミナルの出力・コード・測った値を全量で載せます。効果の書き方のうち、爪の電流で判定の手間を減らせる、という所はまだ測っていない見込みです。それ以外は、この日の実機の記録から測った値です。
π0.5 と、この回のモデル split10_v2
π0.5 は、Physical Intelligence が公開した、カメラの画像と言葉の指示からロボットの動きを出す AI モデルです。このプロジェクトでは、mechArm 270 で撮ったお手本を使って、π0.5 を少しだけ学習させ直しています(LoRA という、モデルの一部だけを学習させるやり方)。
| 言葉 | この記事での意味 |
|---|---|
| お手本 | 人が教えた動きを mechArm 270 に再生させ、上カメラの映像と関節の角度を一緒に記録した1回分 |
| split10_v2 | 2026-11-16 に撮ったお手本10本(5か所に2本ずつ)だけで、π0.5 の元のモデルから学習したモデルの名前。この回で試すモデル |
| 位置1〜5 | お手本を撮ったブロックの置き場所。マットに印を付けてある |
| チャンク | π0.5 が1回の推論で出す、この先1秒ぶん(10ステップ)の関節の動き。これを順に送ってアームを動かす |
| j0・j1・j2 | mechArm 270 の関節。j0 は根元の回転、j1 は肩、j2 はひじ |
| 爪の電流 | グリッパーのモーターに流れる電流。物をはさんで押していると高くなる |
学習は 2026-11-17 に Runpod の A40 で3,000ステップ回し、最後の loss は 0.0021 でした。その記録は LOG522 にあります。
ブロックの置き場所:お手本の5か所と、つかんだときの根元の角度
推論で置くブロックは、学習に使ったお手本と同じ5か所の印の上にしました。お手本は1か所に2本ずつで、同じ場所の中でブロックを少しずらしたお手本はありません。
お手本10本でブロックをつかんだ瞬間の根元の角度(j0)は、場所ごとにはっきり分かれています。推論の19回も、つかんだときの j0 がどれに近いかで、どの位置の回かを振り分けました。
| 位置 | お手本 | つかんだ瞬間の j0 | 肩 j1 | お手本の最初のコマでのブロックの中心(画像の px) |
|---|---|---|---|---|
| 1 | 180222・180445 | −41.0° | 80.5° | (112.3, 115.3)・(114.6, 115.3) |
| 2 | 180649・180850 | −34.9° | 87.9° | (105.3, 137.7)・(104.7, 140.0) |
| 3 | 181120・181313 | −25.5°・−25.1° | 69.1° | (139.9, 137.8)・(140.5, 138.9) |
| 4 | 181848・182848 | −58.8° | 62.7° | (88.1, 81.0)・(89.0, 79.8) |
| 5 | 182124・182309 | +12.6°・+12.7° | 59.9°・60.0° | (230.8, 142.6)・(232.0, 138.3) |
位置2は、肩 j1 が 87.9° でつかむ場所です。推論のときに肩へ送る指令は 88° で切っているので(88° を超える指令はアームが黙って捨てるため。LOG352)、位置2はその上限のほぼいっぱいでつかんでいます。
推論の起動のコマンド
前回の推論(Log35 の deep1)と同じ送り方にし、モデルだけを split2(split10_v2)に替えました。
cd ~/r2r2r-scripts
./lab_start.sh --log Log38 --model split2 --grip-value 25 --flow --via-stride 5
--log Log38 は、学習と同じ記録のフォルダ(KIOXIA の lab/Log38/)に推論の記録もまとめるためです。
上カメラの位置合わせで、KIOXIA の ._ ファイルを基準画像に選んでいた
上カメラは、普段使いの iPhone を毎回付け外ししています。推論の前に、位置合わせの画面(pi05/camera_align.py)で、今のカメラの映像にお手本の最初のコマを半透明で重ね、アームとマットが重なるように iPhone の位置を直します。lab_start.sh が出す位置合わせの画面は、10/19 に撮った1枚(run_0001_20261019_194818)だけを重ねます。
今回のお手本(split10_v2)の5か所のコマで置き場所を確かめたかったので、camera_align.py を単体で動かしました。すると「基準画像を読めない」で止まりました。
[ERROR] 基準画像を読めない: /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_split10_v2/raw_episodes/run_0001_20261116_180222/frames/._000000.jpg
KIOXIA(外付けの SSD)は exFAT という形式で、macOS はファイルごとに ._000000.jpg のような付属ファイルを隣に作ります。中身は画像ではありません。camera_align.py は frames/ の中の *.jpg を名前の順に並べて先頭を使うので、._000000.jpg を選んでいました。
その場は、5か所の最初のコマだけを /tmp に写して(._ を写さない)、そこから重ねました。元のデータには手を付けていません。
A=/tmp/align_split10
for e in run_0001_20261116_180222 run_0001_20261116_180649 run_0001_20261116_181120 run_0001_20261116_181848 run_0001_20261116_182124; do
mkdir -p $A/$e/frames
cp $D/$e/episode.npz $D/$e/meta.json $A/$e/
cp $D/$e/frames/000000.jpg $A/$e/frames/
done
python3 pi05/camera_align.py --raw-dir $A --episode run_0001_20261116_180222 --scale 5 --alpha 0.7
このとき /tmp の5本では、お手本の上カメラの傾きの中央値が「−1.63°(測れた 5/5 本)」と出ました。同じ5本を KIOXIA から読んだ lab_start.sh では「測れない(測れた 0/10 本)」でした。これがあとで、傾きの補正が効いていなかった件につながります。
位置合わせを単体で動かしたターミナルの全文
Last login: Thu Nov 19 19:16:20 on ttys007
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ % python3 pi05/camera_align.py --raw-dir $D --episode run_0001_20261116_180222 --scale 5 --alpha 0.7
python3: can't open file '/Users/shimazueiichi/pi05/camera_align.py': [Errno 2] No such file or directory
(base) shimazueiichi@shimadzueiichinoMacBook-Pro ~ % cd ~/r2r2r-scripts
D=/Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_split10_v2/raw_episodes
python3 pi05/camera_align.py --raw-dir $D --episode run_0001_20261116_180222 --scale 5 --alpha 0.7
[ERROR] 基準画像を読めない: /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_split10_v2/raw_episodes/run_0001_20261116_180222/frames/._000000.jpg
(base) shimazueiichi@shimadzueiichinoMacBook-Pro r2r2r-scripts % ccd ~/r2r2r-scripts5か所のブロックを1枚に重ねる画を作った
camera_align.py は1枚しか重ねられません。5か所の置き場所を一度に見られるように、5本のお手本の最初のコマから赤いブロックだけを切り出し、1本目のコマに貼った画を作りました。この画を --episode all5 として重ねます。
1つ目の作り方は、コマごとに「いちばん大きな赤い塊」を拾ったため、位置1・2・5でアームの赤いケーブルを拾ってしまいました。2つ目は、細長い塊(ケーブル)とすかすかの塊を外す線を入れましたが、位置2のブロックが明るく写っていて、赤く拾えない所があり外れていました(塊の囲みの中で赤い所の割合が0.42で、線を0.45にしていた)。3つ目で線を0.3に下げ、塊を囲む四角ごと貼るようにして、5か所がそろいました。
python3 - <<'EOF'
import cv2, numpy as np
D="/tmp/align_split10"
EP={1:"run_0001_20261116_180222",2:"run_0001_20261116_180649",3:"run_0001_20261116_181120",4:"run_0001_20261116_181848",5:"run_0001_20261116_182124"}
OUT=D+"/all5"
comp=cv2.imread(f"{D}/{EP[1]}/frames/000000.jpg").copy()
for n,e in EP.items():
im=cv2.imread(f"{D}/{e}/frames/000000.jpg"); h=cv2.cvtColor(im,cv2.COLOR_BGR2HSV)
m=(((h[...,0]<12)|(h[...,0]>165))&(h[...,1]>60)&(h[...,2]>40)).astype(np.uint8)
k,lab,st,cen=cv2.connectedComponentsWithStats(m)
best=None
for i in range(1,k):
x,y,w,hh,a=st[i]
if w<5 or hh<5: continue
if max(w,hh)/min(w,hh)>1.8: continue
if a/(w*hh)<0.3: continue
if best is None or a>st[best,4]: best=i
if best is None: print(n,"見つからない"); continue
x,y,w,hh,a=st[best]
comp[y:y+hh,x:x+w]=im[y:y+hh,x:x+w]
cx,cy=map(int,cen[best]); print(n,"中心",(cx,cy),"面積",a)
cv2.putText(comp,str(n),(cx+8,cy-8),cv2.FONT_HERSHEY_SIMPLEX,0.6,(0,0,0),4)
cv2.putText(comp,str(n),(cx+8,cy-8),cv2.FONT_HERSHEY_SIMPLEX,0.6,(0,255,255),2)
cv2.imwrite(OUT+"/frames/000000.jpg",comp)
EOF
python3 pi05/camera_align.py --raw-dir /tmp/align_split10 --episode all5 --scale 5 --alpha 0.7
all5 のフォルダには、1本目の episode.npz と meta.json を写しています(camera_align.py が */episode.npz のあるフォルダをお手本として探すため。写すコマンドは、2つ目までの作り方の中で一度流しています)。
- ねらい:ブロックを置くとき、5か所の印を画面の上で一度に確かめられるようにする
- 変わったこと:今まで1枚ずつしか重ねられなかったのを、5か所を番号付きで1枚にした
- 見込める効果:位置を替えるたびに画を開き直さずに済む。ただし
lab_start.shの位置合わせの画面とは同じカメラを使うので、推論の途中では開けない。どれだけ置き直しが減るかは測っていない
推論を止めてゲームパッドで直す手順
この版の lab_start.sh は、2回目の試行から、チャンクごとの確かめを待たずに動き続けます。途中で人が直したいときは、アームが動いている間にターミナルでスペース(Enter でも可)を押します。送っている途中のチャンクを送り終えてから止まり、入力欄が出ます。そこで p を押すと、ゲームパッドの画面が開きます。直し終えたら □ で推論に戻ります。
この日は2回、この手順で直しました(1回目のまとまりの5回目と、2回目のまとまりの7回目)。
1回目のまとまり:11回動かし、11回目の途中で記録が切れた
19:16 に始めて、Pod(Runpod で借りるマシン)を作り、モデルを取り、サーバーを起動してから、11回続けて動かしました。A40 の空きがなく、Pod を作るのに3回やり直しています。
11回目は、ブロックを箱に置いたあと、もう一度つかみに行く答え(2回目のつかみ)が出て止まりました。その直後に、記録を書いていた外付けの SSD との接続が切れ、11回目の録画の仕上げと結果のファイルが書けませんでした。12回目の準備で、お手本のフォルダが見つからずに止まっています。11回目は数えていません。
1回目のまとまりの lab_start.sh のターミナルの全文(lab/Log38/lab_start_20261119_191622.txt)
[RANGE ] 安全範囲 (学習データ ±10°) は /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_split10_v2/raw_episodes から (--model split2)
[FRAME ] 写り方の確かめの基準画像は /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_teach_v1_trim2/raw_episodes の最初のエピソードから (位置合わせと同じ trim2. 依頼 137)
[TILT ] 上カメラの傾きのお手本 (各エピソードの 1 枚目の中央値) は /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_split10_v2/raw_episodes から (安全範囲と同じ. 差だけ画像を回して AI に渡す. 依頼 144)
[GRIP ] 爪の閉じる値は 25 (--grip-value). 締め直し r はこの値−3 とこの値を交互に送る (依頼 152)
[VIA ] --via-stride 5: 1 チャンクを step 4, 9 で送る (グリッパーが変わるチャンクはその手前まで. 依頼 182)
[FLOW ] 推論の送り方: --flow (依頼 176)
[CONFIRM] チャンクごとには確かめない (--no-step-confirm. 始めの確かめのあとは止まらずに進む. 止めるときはスペース. 依頼 178)
[FINISH] 箱に置き終えたら自動で終わる (--auto-finish. つかんで放したあと HOME 近くで止まったら HOME へ戻して結果の入力へ. 2 回目のつかみは送らずに止める. 依頼 181)2回目のまとまり:同じ Pod につなぎ直して8回
SSD がつながり直したあと、同じ打ち方で lab_start.sh を流すと、前のまとまりの「動いている」という印のファイルが残っていて止まりました。前のプロセスが動いていないことを ps で確かめてから印を消し、打ち直しました。
ps -p 47913
rm -r /Volumes/KIOXIA/r2r2r-data/lab/Log38/pod/.lab_start.lock
./lab_start.sh --log Log38 --model split2 --grip-value 25 --flow --via-stride 5
残っていた Pod にそのままつなぎ直したので、Pod の準備とサーバーの起動は飛ばされ、1回目の推論までの待ちは約4分(スクリプトを送るのに177秒)で済みました。
印が残っていて止まったときの全文(lab/Log38/lab_start_20261119_194935.txt)
[RANGE ] 安全範囲 (学習データ ±10°) は /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_split10_v2/raw_episodes から (--model split2)
[FRAME ] 写り方の確かめの基準画像は /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_teach_v1_trim2/raw_episodes の最初のエピソードから (位置合わせと同じ trim2. 依頼 137)
[TILT ] 上カメラの傾きのお手本 (各エピソードの 1 枚目の中央値) は /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_split10_v2/raw_episodes から (安全範囲と同じ. 差だけ画像を回して AI に渡す. 依頼 144)
[GRIP ] 爪の閉じる値は 25 (--grip-value). 締め直し r はこの値−3 とこの値を交互に送る (依頼 152)
[VIA ] --via-stride 5: 1 チャンクを step 4, 9 で送る (グリッパーが変わるチャンクはその手前まで. 依頼 182)
[FLOW ] 推論の送り方: --flow (依頼 176)
[CONFIRM] チャンクごとには確かめない (--no-step-confirm. 始めの確かめのあとは止まらずに進む. 止めるときはスペース. 依頼 178)
[FINISH] 箱に置き終えたら自動で終わる (--auto-finish. つかんで放したあと HOME 近くで止まったら HOME へ戻して結果の入力へ. 2 回目のつかみは送らずに止める. 依頼 181)
[ERROR] Log38 の lab_start.sh の印が残っています (pid 47913・動いていないように見える). 二重に借りないよう止まります
ほかに Log38 の lab_start.sh が動いていないことを確かめてから, 印を消して打ち直してください:
rm -r /Volumes/KIOXIA/r2r2r-data/lab/Log38/pod/.lab_start.lock
2回目のまとまりの lab_start.sh のターミナルの全文(lab/Log38/lab_start_20261119_195014.txt)
[RANGE ] 安全範囲 (学習データ ±10°) は /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_split10_v2/raw_episodes から (--model split2)
[FRAME ] 写り方の確かめの基準画像は /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_teach_v1_trim2/raw_episodes の最初のエピソードから (位置合わせと同じ trim2. 依頼 137)
[TILT ] 上カメラの傾きのお手本 (各エピソードの 1 枚目の中央値) は /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_split10_v2/raw_episodes から (安全範囲と同じ. 差だけ画像を回して AI に渡す. 依頼 144)
[GRIP ] 爪の閉じる値は 25 (--grip-value). 締め直し r はこの値−3 とこの値を交互に送る (依頼 152)
[VIA ] --via-stride 5: 1 チャンクを step 4, 9 で送る (グリッパーが変わるチャンクはその手前まで. 依頼 182)
[FLOW ] 推論の送り方: --flow (依頼 176)
[CONFIRM] チャンクごとには確かめない (--no-step-confirm. 始めの確かめのあとは止まらずに進む. 止めるときはスペース. 依頼 178)
[FINISH] 箱に置き終えたら自動で終わる (--auto-finish. つかんで放したあと HOME 近くで止まったら HOME へ戻して結果の入力へ. 2 回目のつかみは送らずに止める. 依頼 181)Pod を消した:52分で約0.51ドル
推論を終えて、lab_stop.sh で Pod を消しました。同じ Pod を2つのまとまりで使ったので、推論のための GPU の費用はこれだけです。
./lab_stop.sh --log Log38
[STOP ] Log38 の Pod: id lrv9o7e9rvxuap GPU=NVIDIA A40 作った時刻 2026-11-19 19:17:57
[LOG ] serve.log を持ち帰った → /Volumes/KIOXIA/r2r2r-data/lab/Log38/serve.log (81 行)
[STOP ] Terminate を送った (20:09:41)
[STOP ] Pod (id lrv9o7e9rvxuap) が消えたことを API で確かめた
[COST ] 借りていた時間 51 分 44 秒 (0.86 時間) × 1時間 0.59 ドル = 約 0.51 ドル (約 80 円. 1ドル=158円)
[TUNNEL] 8000 番のトンネルは残っていません
19回の結果:失敗4回はすべて位置2
19回を、つかんだときの j0 で位置に振り分け、結果と、閉じて1秒後の爪の電流(推論の終わりに run_policy_client.py が出す値)を並べました。結果は、人が確定した判定です(押し間違えた2本は次の節で失敗に直しています)。
| 回 | 記録 | 位置 | つかんだときの j0 | 爪の電流 | 結果 | メモ |
|---|---|---|---|---|---|---|
| 1 | pi05_20261119_192601 | 1 | -40.6° | 754 | 成功 | |
| 2 | pi05_20261119_192826 | 2 | -36.5° | 143.5 | 失敗 | 置いたあと2回目のつかみに行き停止 |
| 3 | pi05_20261119_192957 | 2 | -35.8° | 749 | 成功 | |
| 4 | pi05_20261119_193141 | 3 | -26.5° | 664.5 | 成功 | |
| 5 | pi05_20261119_193318 | 4 | -57.8° | 165 | 成功 | 閉じたら空振り → ゲームパッドで j1 を下げて持ち直し |
| 6 | pi05_20261119_193525 | 5 | +14.0° | 723 | 成功 | |
| 7 | pi05_20261119_193737 | 1 | -40.0° | 734 | 成功 | |
| 8 | pi05_20261119_193903 | 2 | -33.5° | 775 | 成功 | |
| 9 | pi05_20261119_194048 | 3 | -25.5° | 716 | 成功 | |
| 10 | pi05_20261119_194206 | 4 | -56.8° | 770 | 成功 | |
| 11 | pi05_20261119_194324 | 5 | +11.6° | 記録なし | 数えない | 置いたあと2回目のつかみに行き停止。記録が欠けた(数えない) |
| 12 | pi05_20261119_195403 | 2 | -35.0° | 53.5 | 失敗 | 人が持ち上げの途中で止めた |
| 13 | pi05_20261119_195531 | 1 | -39.4° | 721 | 成功 | |
| 14 | pi05_20261119_195712 | 2 | -37.4° | 143 | 失敗 | 人が止めた |
| 15 | pi05_20261119_195830 | 2 | -35.0° | 149 | 失敗 | 持ち上げのあと人が止めた |
| 16 | pi05_20261119_195919 | 2 | -34.7° | 738 | 成功 | |
| 17 | pi05_20261119_200105 | 3 | -26.3° | 603 | 成功 | |
| 18 | pi05_20261119_200220 | 4 | -57.8° | 795 | 成功 | 閉じる前に未到達で止まり、ゲームパッドで j0 を1°だけ直した |
| 19 | pi05_20261119_200424 | 5 | +10.9° | 752 | 成功 |
位置ごとにまとめると、次のとおりです。
| 位置 | 成功 / 回数 | 人が直した回 |
|---|---|---|
| 1 | 3 / 3 | なし |
| 2 | 3 / 7 | なし |
| 3 | 3 / 3 | なし |
| 4 | 3 / 3 | 2回(閉じたら空振りで持ち直した1回、閉じる前に止まって j0 を1°直した1回) |
| 5 | 2 / 2 | なし(記録が欠けた11回目は数えない) |
| 計 | 14 / 18 | 2回 |
前のモデル(deep1。位置1〜5を10本ずつの50本で学習)は、2026-11-11 の実機で、位置5が9回中2回しか箱に入りませんでした(LOG487 のころ。電源は12V・2A)。撮り方を変えた10本で学習したこのモデルでは、位置5は2回とも入っています。ただし電源(LOG504 で5Aに替えた)や送り方も変わっているので、お手本の違いだけの効果とは言えません。
押し間違えた2本を、判定の表で失敗に確定した
推論の終わりに、人が成功(y)か失敗(n)を打ちます。2回目(192826)と、2回目のまとまりの3回目(195712)は、ブロックをつかめていないのに y を押していました。爪の電流がどちらも空振りの値(143.5・143)だったことから気づきました。
各回のフォルダにある結果のファイル({run_stem}.json)は測定データなので書き換えず、成功・失敗の判定をまとめた表(runs/pi05_policy_verdicts_v1.csv)に、人の確定(human_only)として失敗の行を足しました。この表は追記だけで、同じ回のいちばん新しい人の行が正になります。
cd $HOME/mnt/r2r2r-scripts/pi05/verdict_viewer; python3 - <<'E'
import sys, os; sys.path.insert(0,'.')
import verdicts as V
csv=os.path.expanduser("~/mnt/KIOXIA/r2r2r-data/runs/pi05_policy_verdicts_v1.csv")
note="推論の終わりに y を押し間違えた (エイイチ 2026-11-19). 閉じて1秒後の爪の電流 {} は空振りの値 (持てた回は600〜850)"
rows=[dict(labeled_at=V.now_iso(),run_stem=s,pick="no",place="not_applicable",outcome="failure",labeler="human_only",
ai_outcome="",ai_reason="",evidence="",note=note.format(c)) for s,c in [("pi05_20261119_192826","143.5"),("pi05_20261119_195712","143")]]
print(V.append_rows(rows,csv_path=csv))
E
tail -2 $HOME/mnt/KIOXIA/r2r2r-data/runs/pi05_policy_verdicts_v1.csv
[{'labeled_at': '2026-11-19T11:11:09+00:00', 'run_stem': 'pi05_20261119_192826', 'pick': 'no', 'place': 'not_applicable', 'outcome': 'failure', 'labeler': 'human_only', 'ai_outcome': '', 'ai_reason': '', 'evidence': '', 'note': '推論の終わりに y を押し間違えた (エイイチ 2026-11-19). 閉じて1秒後の爪の電流 143.5 は空振りの値 (持てた回は600〜850)'}, {'labeled_at': '2026-11-19T11:11:09+00:00', 'run_stem': 'pi05_20261119_195712', 'pick': 'no', 'place': 'not_applicable', 'outcome': 'failure', 'labeler': 'human_only', 'ai_outcome': '', 'ai_reason': '', 'evidence': '', 'note': '推論の終わりに y を押し間違えた (エイイチ 2026-11-19). 閉じて1秒後の爪の電流 143 は空振りの値 (持てた回は600〜850)'}]
2026-11-19T11:11:09+00:00,pi05_20261119_192826,no,not_applicable,failure,human_only,,,,推論の終わりに y を押し間違えた (エイイチ 2026-11-19). 閉じて1秒後の爪の電流 143.5 は空振りの値 (持てた回は600〜850)
2026-11-19T11:11:09+00:00,pi05_20261119_195712,no,not_applicable,failure,human_only,,,,推論の終わりに y を押し間違えた (エイイチ 2026-11-19). 閉じて1秒後の爪の電流 143 は空振りの値 (持てた回は600〜850)
足した行のメモの「持てた回は600〜850」は、この時点の見立ての幅です。19回を並べ直すと、持てた回は603〜795でした。
爪の電流で、持てたか空振りかが分かれた
閉じて1秒後の爪の電流は、持てた13回が603〜795、空振りの5回(位置2の失敗4回と、位置4で人が持ち直す前の1回)が53.5〜165 でした。間がはっきり空いています。空振りの回は、人が録画を見る前に、この数字で見分けられます。
- ねらい:成功・失敗の入力の押し間違いや、録画を見て判定する手間を減らす
- 変わったこと:これまで録画を見るか、人が押す y・n で決めていた「つかめたか」が、1つの数字で分かると分かった
- 見込める効果:判定の画面で、AI が先に付ける判定の材料に足せる。閉じる値(25)や電源を変えると値が変わるので、線(例えば400)を決めるのは、条件ごとに確かめてから
置いたあとにもう一度つかみに行く動き(2回目のつかみ)は、この日2回出ました。1回は空振りのあと(192826)、もう1回は持てて箱に置いたあと(194324。爪の電流は書き出した記録から 597.5)です。空振りのあとだけに出る動きではありませんでした。
位置2の原因を調べた:ずれていたのはブロックではなく、上カメラの画角だった
位置2の7回について、つかむ瞬間に送った関節の角度と、最初のコマのブロックの位置を、お手本と比べました。
比べたスクリプト(KIOXIA の上で読むだけ)
cd $HOME/mnt/KIOXIA/r2r2r-data; python3 - <<'E'
import numpy as np, cv2, json, os, glob
def block(img):
h=cv2.cvtColor(img,cv2.COLOR_BGR2HSV)
m=(((h[...,0]<12)|(h[...,0]>165))&(h[...,1]>60)&(h[...,2]>40)).astype(np.uint8)
k,lab,st,cen=cv2.connectedComponentsWithStats(m);best=None
for i in range(1,k):
x,y,w,hh,a=st[i]
if w<5 or hh<5 or max(w,hh)/min(w,hh)>1.8 or a/(w*hh)<0.3: continue
if best is None or a>st[best,4]: best=i
return None if best is None else tuple(np.round(cen[best],1))
R="datasets/mecharm_redblock_box_split10_v2/raw_episodes"
pos={"180222":1,"180445":1,"180649":2,"180850":2,"181120":3,"181313":3,"181848":4,"182848":4,"182124":5,"182309":5}
print("== demos")
for d in sorted(x for x in os.listdir(R) if not x.startswith('._')):
s=np.load(f"{R}/{d}/episode.npz")['state']; g=s[:,6]
i=int(np.argmax(np.abs(np.diff(g))>0.3))+1
print(pos[d[-6:]], d[-6:], "block",block(cv2.imread(f"{R}/{d}/frames/000000.jpg")), "grasp",np.round(s[i,:6],1), "g",round(float(g[0]),2),round(float(g[i]),2))
print("== runs")
for d in sorted(glob.glob("runs/pi05_policy/pi05_20261119_*")):
if os.path.basename(d).startswith('._'): continue
f=f"{d}/frames/0000.jpg"; b=block(cv2.imread(f)) if os.path.exists(f) else None
L=[json.loads(l) for l in open(f"{d}/log.jsonl")]
ch=[x for x in L if x.get('type') is None and x.get('executed')]
close=[x for x in ch if str(x.get('grip_cmd')) in ('close','1','True','closed') or (isinstance(x.get('grip_cmd'),(int,float)) and x['grip_cmd']>0)]
gc=[x.get('grip_cmd') for x in ch][:8]
tgt=close[0]['sent_targets'][-1] if close and close[0].get('sent_targets') else None
print(os.path.basename(d)[-6:], "block",b, "close",np.round(np.array(tgt,dtype=float)[:6],1) if tgt is not None else None, "gc",gc[:6])
E
出力
== demos
1 180222 block (np.float64(112.3), np.float64(115.3)) grasp [-41. 80.5 0.1 0.5 -75.4 -29.9] g 0.0 1.0
1 180445 block (np.float64(114.6), np.float64(115.3)) grasp [-41. 80.6 0.1 0.9 -75.5 -30. ] g 0.0 1.0
2 180649 block (np.float64(105.3), np.float64(137.7)) grasp [-34.9 87.9 -33.9 6.7 -46.5 -34.5] g 0.0 1.0
2 180850 block (np.float64(104.7), np.float64(140.0)) grasp [-34.9 87.9 -34. 6.9 -46.6 -34.5] g 0.0 1.0
3 181120 block (np.float64(139.9), np.float64(137.8)) grasp [-25.5 69.1 9. -1. -66.5 -29.8] g 0.0 1.0
3 181313 block (np.float64(140.5), np.float64(138.9)) grasp [-25.1 69.1 9. -1. -66.5 -30. ] g 0.0 1.0
4 181848 block (np.float64(88.1), np.float64(81.0)) grasp [-58.8 62.7 9.9 -0. -55.3 -30. ] g 0.0 1.0193525 のブロックの位置 (323.0, 169.3) は、ブロックではなく別の物を拾った値です(位置5のブロックはこの辺りにない)。
位置2の推論の7回は、どれもブロックがお手本より画像で4〜7px 上に写っていました。最初はこれを「ブロックを根元寄りに置いた」と読みましたが、位置1・3・4 の回も同じ向きに2〜7px ずれていました。そこで、ブロックの赤い所を除いた画像全体を、お手本の最初のコマと比べました(位相相関という、2枚の画像がどれだけずれているかを測るやり方)。
画角のずれを測ったスクリプトと出力
cd $HOME/mnt/KIOXIA/r2r2r-data; python3 - <<'E'
import cv2,numpy as np,glob,os
R="datasets/mecharm_redblock_box_split10_v2/raw_episodes"
def g(p):
im=cv2.imread(p); h=cv2.cvtColor(im,cv2.COLOR_BGR2HSV)
m=((h[...,0]<12)|(h[...,0]>165))&(h[...,1]>60)
gr=cv2.cvtColor(im,cv2.COLOR_BGR2GRAY).astype(np.float32); gr[m]=gr.mean()
return gr
ref=g(f"{R}/run_0001_20261116_180222/frames/000000.jpg")
win=cv2.createHanningWindow(ref.shape[::-1],cv2.CV_32F)
for d in sorted(glob.glob(f"{R}/run_*"))[:3]:
(dx,dy),r=cv2.phaseCorrelate(ref,g(d+"/frames/000000.jpg"),win); print("demo",d[-6:],round(dx,1),round(dy,1),round(r,2))
for d in sorted(x for x in glob.glob("runs/pi05_policy/pi05_20261119_*") if not os.path.basename(x).startswith('._')):
(dx,dy),r=cv2.phaseCorrelate(ref,g(d+"/frames/0000.jpg"),win); print("run",d[-6:],round(dx,1),round(dy,1),round(r,2))
E
demo 180222 -0.0 -0.0 1.0
demo 180445 -0.1 0.1 0.9
demo 180649 -0.2 0.2 0.86
run 192601 1.1 -4.3 0.82
run 192826 0.8 -4.2 0.8
run 192957 0.8 -3.9 0.79
run 193141 0.8 -4.0 0.79
run 193318 1.1 -4.3 0.77
run 193525 1.2 -4.4 0.75
run 193737 2.2 -5.0 0.72
run 193903 2.8 -4.5 0.72
run 194048 2.7 -4.5 0.69
run 194206 2.6 -4.9 0.68
run 194324 2.9 -4.9 0.65
run 195403 1.8 -5.0 0.66
run 195531 2.8 -4.6 0.63
run 195712 3.9 -4.9 0.64
run 195830 2.8 -4.7 0.62
run 195919 2.7 -4.7 0.61
run 200105 2.8 -4.7 0.6
run 200220 2.6 -4.9 0.61
run 200424 2.7 -4.8 0.6
お手本どうしではずれがほぼ0なのに、この日の19回は、画像全体が縦に −3.9〜−5.0px、横に +0.8〜+3.9px ずれていました。1回目のまとまりの途中から横のずれが大きくなっています(7回目の前に、位置合わせの画面でカメラを動かしていた所)。
ブロックの位置から、この画角のずれを差し引くと、位置2の7回はお手本から横 −4.2〜+1.0px、縦 −2.3〜+1.1px でした。成功した3回(192957・193903・195919)と失敗した4回(192826・195403・195712・195830)は、この範囲の中で混ざっています。ブロック1個の幅が画像で約20px なので、ブロックはお手本とほぼ同じ所に置けていて、置き方の差では成功と失敗が分かれていません。
| 回 | 結果 | 画角のずれ(横・縦 px) | ブロックのずれ(画角を除く。横・縦 px) | つかむ瞬間の j1 | j2 |
|---|---|---|---|---|---|
| 192826 | 失敗 | +0.8・−4.2 | −0.3・−1.1 | 87.2° | −31.6° |
| 192957 | 成功 | +0.8・−3.9 | +0.4・−0.5 | 88.0° | −33.6° |
| 193903 | 成功 | +2.8・−4.5 | +0.4・−2.3 | 88.0° | −32.8° |
| 195403 | 失敗 | +1.8・−5.0 | −3.8・−1.3 | 87.5° | −32.0° |
| 195712 | 失敗 | +3.9・−4.9 | −4.2・+1.1 | 87.5° | −32.7° |
| 195830 | 失敗 | +2.8・−4.7 | +1.0・0.0 | 88.0° | −30.5° |
| 195919 | 成功 | +2.7・−4.7 | −2.5・−2.0 | 86.2° | −32.5° |
| お手本 | ― | 0・0 | 0・0 | 87.9° | −33.9° |
つかむ瞬間の関節の角度も、成功と失敗で1〜3°しか違わず、きれいには分かれません。肩 j1 は7回とも 86〜88° で、上限の 88° のあたりに張り付いています。
今の時点で言えるのは、次のことまでです。
- 失敗は位置2だけに出て、4回とも空振りだった
- 位置2は、肩が上限の 88° ぎりぎりでつかむ場所
- この日は全部の回で、上カメラの画角がお手本より約5px ずれていて、傾きの補正も効いていなかった(次の節)
- ブロックの置き方のずれでは、成功と失敗が分かれない
位置2だけが落ちる原因は、まだ特定できていません。 画角のずれと傾きは全部の位置にかかっていたのに、落ちたのは位置2だけです。上限ぎりぎりの位置2では、ほかの位置なら許されるわずかな差が、当たり外れを決めている、というのが今の見立てです。
最初は、ずれていたのはブロックだと説明していました。その説明をもとに、相談の中で次のような話もしています。お手本は5か所とも、ほぼ同じ所に置いて撮っていて、同じ置き場所の中でブロックをずらしたお手本はありません。そのため、このモデルは「どの場所か」は画像から読み取れても、「その場所から何mmずれているか」に合わせて姿勢を変えることは、覚える材料がありません。これは一般に言えることですが、この日の結果がその証拠になっているわけではない、ということを、測り直したあとに確かめました。
上カメラの傾きの補正が、19回とも効いていなかった:依頼242
lab_start.sh は、推論の前に上カメラの傾きを測り、お手本の傾きの中央値との差だけ画像を回してから π0.5 に渡します(依頼144 で入れた仕組み)。この日のターミナルには、19回とも次の行が出ていました。
[TILT ] 傾きのお手本: /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_split10_v2/raw_episodes 中央値 測れない (測れた 0/10 本. プラス=右下がり)
お手本の傾きが測れないので、画像は回されずに渡っていました(記録の tilt_fix の行も rotate_deg: 0.0・applied: False)。傾きを測る pi05/camera_tilt.py も、camera_align.py と同じ書き方で ._ のファイルを読んでいたためと見ています。/tmp に写した5本では −1.63° と測れ、この日のカメラは −0.4〜−0.65° だったので、約1°の傾きがそのまま π0.5 に渡っていたことになります。
同じ書き方の所を探すと、3つありました。
pi05/eval_policy_offline.py:119: frames = sorted((ep / "frames").glob("*.jpg"))
pi05/camera_tilt.py:74: fs = sorted((Path(ep_dir) / "frames").glob("*.jpg"))
pi05/camera_align.py:129: frames = sorted((ep / "frames").glob("*.jpg"))
この3か所を直す依頼を、Claude Code への依頼箱に出しました。実機は動かさない依頼です。
依頼242 の依頼文
---
作業フォルダ: /Users/shimazueiichi/r2r2r-scripts
上限時間: 60
---
# 依頼242:KIOXIA の `._` ファイルを画像として読まないようにする(camera_align.py・camera_tilt.py・eval_policy_offline.py)
## なぜ
KIOXIA(exFAT)では、macOS が各ファイルの隣に `._000000.jpg` のような付属ファイル(中身は画像ではない)を作る。
次の3か所は `sorted((ep / "frames").glob("*.jpg"))` で画像を集めているので、`._` のファイルが先頭に来る。
- pi05/camera_align.py:129 … 基準画像に `._000000.jpg` を選び「基準画像を読めない」で止まった(2026-11-19、split10_v2 の raw_episodes を --raw-dir に渡したとき)
- pi05/camera_tilt.py:74 … 同じ理由と見られる。2026-11-19 の lab_start.sh(--model split2)で「傾きのお手本 … 中央値 測れない(測れた 0/10 本)」と出て、傾きをソフトでそろえる処理が効いていなかった。同じ 5 本の最初のコマを /tmp に写して(`._` なし)測ると「中央値 -1.63°(測れた 5/5 本)」になった
- pi05/eval_policy_offline.py:119 … 同じ書き方
## 1. 直す
- 3か所とも、名前が `._` で始まるファイルを除いてから並べる。共通の小さな関数にまとめてもよい
- r2r2r-scripts のほかの .py で、KIOXIA のフォルダから `glob` / `iterdir` / `listdir` で画像・動画・npz・json を集めている所を探し、同じ問題がある所は同じように直す(直した所を報告に並べる)
- 元のデータ(datasets/・runs/)は読むだけ。`._` のファイルは消さない
- テストを足す(`._000000.jpg` が混じったフォルダで、正しい 000000.jpg が選ばれること)
- 個別に add して commit
## 2. 確かめる(アームは動かさない)
- `python3 pi05/camera_tilt.py` か、それを呼ぶ所で、split10_v2 の raw_episodes の傾きの中央値が測れること(-1.63° 前後・10/10 本のはず)を確かめ、値を報告に書く
- camera_align.py に `--raw-dir /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_split10_v2/raw_episodes --episode run_0001_20261116_180222` を渡して、基準画像が 000000.jpg になることを、画面を出さずに確かめられる範囲で確かめる(画面を出す確かめができなければ、そう書く)
## 3. 実機は動かさない
## 4. 報告
claude_code_reports/20261119_242.txt。直したファイルと commit 番号、ほかに見つけた所、テスト、傾きの中央値の値、決めてほしいこと。最後の1行に「判定:合格/止めた(決めてほしいことあり)/失敗」。
mechArm 270 での学習は、ここで区切る
位置1・3・4・5 は全部の回で成功し、失敗は位置2にだけ出ました。同じ10本のお手本で学習のステップを増やしても、位置2を良くする材料はありません。結果を見て、エイイチは次のように言いました。
これ以上学習を続けても成功率も上がらないね。
位置2を良くするには、置き場所の中でブロックを少しずつずらしたお手本を足すのが筋です。ただ mechArm 270 のお手本は、手で教えた関節の角度を再生して撮っているので、ずらした場所ごとに教え直しが要ります。やり方は3つ考えました。ずらした場所ごとにゲームパッドで要所を教え直して撮る、今のモデルで推論させて外れたときだけ直した記録を足す、人が動かした動きがそのままお手本になるリーダーアーム付きの SO-101 が届いてから集める、の3つです。エイイチは SO-101 を選びました。
mecharmでこれ以上はやっても大変なだけだな。
SO-101 へ持ち越すことは次のとおりです。
| 持ち越すこと | 理由 |
|---|---|
お手本は最初から、同じ置き場所の中でもブロックをずらして撮る | 決まった所だけのお手本では、ずれに合わせた動きを覚える材料がない |
閉じたあとの爪の電流で、持てたかを見る | mechArm 270 では持てた回と空振りの回がはっきり分かれた。SO-101 でも同じ見方が使えるか、最初に確かめる |
画角と傾きを、毎回の推論の記録で見る | この日は画角が約5px ずれ、傾きの補正も効いていなかった。机側のカメラを固定の USB カメラにする予定(LOG530)なので、ずれ自体は減る見込み |