LOG512フィジカルAI研究室2026/11/15

フィジカルAI研究室を作る Log#36 | ロボットアームの学習データに、成否を付ける判定の画面を作った

AIで読む ChatGPT・Claude などで、この記事に質問できます

小型ロボットアーム mechArm 270 で Physical Intelligence の π0.5 を実機で動かした記録176回に、成功か失敗かと「だれが付けた判定か」を付ける判定の画面を作り、全部に印を付けた。成功率は59.8%（55/92）で、学習し直したあとに比べる基準になった。 AI が先に判定を付け、人が録画と関節のグラフを見て確かめて確定する形です。同じ作業の中で、学習に使っていたお手本（アームを動かした記録）の角度を1コマずつ数え、アームが動いた量の半分ほどが実測ではなく、前後の実測を直線で結んで補った値だったことも分かりました。手で教えたお手本では動いた量の56〜59%が角度を読めない1秒の待ちの中にあり、推論を人が直して作った補正のお手本では、学習に使った本のコマの41〜46%が補った値でした。

この回の作業で、次のことが変わりました。

推論の記録176回すべてに、成功・失敗と「だれが付けた判定か」が入った。人が画面で見て確定したのは25回で、画面の直しを挟みながら約40分（22:49〜23:29）。いまの成功率59.8%（55/92）が、学習し直したあとに比べる基準になった
これから作る補正のお手本には、1コマずつ「実測」「補った値」の印が残る。値そのものは1つも変えていない（既存の14データセット・95本を作り直して、すべて一致することを確かめた）
手で教えたお手本の角度が0.32秒おきにしか読めていない原因が、記録の作りだと分かった。アームの動きを変えずに読み取りを増やす案があり、撮り直せば補った値は減る見込み（実機ではまだ確かめていない）

きっかけは、ものづくり太郎チャンネルの動画【予言的中？】製造現場のAI活用はどこまで来たか？です。エアリオンの河村さんが、フィジカルAI の学習データは量より質が問われるようになると話し、その例として「ちゃんとラベリングしてデータの質を記録してますか？」と問いかけていました。どんな動きか、いつの記録か、成功したときのデータか失敗したときのデータか。そうした印（ラベル）を付けて仕分けておくことが大事だ、という話です。手元のデータで、この問いに答えられるかを確かめました。

答えは半分だけ「はい」でした。日付・動き・外した理由は、ファイルに残っていました。ところが推論の記録176回のうち108回には成功か失敗かの印がなく、付いている印も人が付けたのか AI が付けたのか分かりませんでした。さらに、学習に入れている角度のかなりの部分が、測った値ではなく、間を直線で埋めた値でした。

やったこと	なぜ	結果
手元のデータのラベルを数えた	動画の問いに答えられるかを見る	日付・動き・外した理由はあった。推論の記録は108回に成否がなく、だれが付けたかも分からなかった
判定の画面を作り、176回を確定した（依頼183〜195・198）	大きな仕組みは作らず、成否を付ける画面を1枚だけ作る	AI が先に判定し、人が確かめて確定。176回すべてに印が付き、成功率は59.8%
補ったコマに印を付け、既存のお手本を数えた（依頼196）	補った値がどれだけ入っているかを測る	学習に使った補正のお手本は、コマの41〜46%が補った値
手教示の読み取りが0.32秒おきの原因を調べた（依頼197）	手で教えたお手本にも補った値が多かった	原因は記録の作り。動いた量の56〜59%が、角度を読まない1秒の待ちの中にあった

試しの記録と、この回に使った材料（依頼文・報告・差分・データ・画面の写し）は KIOXIA の lab/Log36/ に入れています。

GPU を買うか借りるかの判断は、Runpod で実際に借りて学習させた費用をもとに、別のページにまとめています。この回で測ったお手本も、その借り方で学習させてきたものです。

導入比較ガイドロボットAIの学習用GPU、買うか借りるか実際に借りて学習させた費用と、損益分岐の計算機で決められます

作業ログ ― 動画の問いから、推論176回のラベルとお手本の補った値を数えるまで

ここから下は作業の記録です。依頼文・報告・コードの差分・データは全量で載せます。効果を書いた所のうち、数字で書いたものは測った値、「見込み」と書いたものはまだ確かめていない値です。

この回で何度も出てくる言葉を先に言い換えておきます。

π0.5：Physical Intelligence が公開しているロボット用の AI。上カメラの画像と関節の角度を見て、次の動きを出す
お手本：π0.5 に学ばせるための、アームを動かした記録。画像と関節の角度が0.1秒ごとに並ぶ。手で教えた要所を再生して撮ったもの（手教示）と、推論を人がゲームパッドで直して成功させたもの（補正）の2種類がある
ラベル：記録1本ごとに付ける印。この回では、成功したか・失敗したか、つかめたか（pick）・箱に置けたか（place）、だれが付けたか
推論の記録：π0.5 を実機で動かした1回分の記録。KIOXIA の runs/pi05_policy/{名前}/ に入る
補った値：アームの角度が読めなかった間を、前後の実測の角度を直線で結んで埋めた値。0.1秒ごとのコマに並べ直すときに作る
依頼箱：Claude Code への依頼をファイルで置いておく Mac のフォルダ。置くと見張り係が順に Claude Code に渡し、結果を書き戻す
Claude Code：Anthropic の、コードを書いて動かす AI。この回のコードはすべて依頼箱から Claude Code が書いた

動画で挙がったラベルの項目と、手元のデータを突き合わせた

動画の画面の録画（10分55秒）から字幕を切り出して読み、ラベルについて話している所を拾いました。挙がっていたのは、どんな動作をしたか、日付、タスクが成功したときのデータか失敗したときのデータか、そして、AI が自動でラベルを付けて点数を付け、人の判断と AI でブレを確かめて記録すること、の4つです。

そのうえで、KIOXIA の r2r2r-data/ を Mac 連携の shell で数えました。

動画の項目	手元にあるか	どこにあるか
日付	ある	すべての記録の名前に日時が入っている
どんな動きか	ある	タスクの文、1コマごとの「モデル／人の補正」の区別（`step_modes`）、爪の指令
成功／失敗	ある（抜けが多い）	台帳の pick/place の判定（813行）、お手本の `human_verdict`、推論の記録の `outcome`
点数	一部ある	把持の深さ（閉じて1秒後のはみ出しの画素数）で浅い本を外している。1コマで一番大きく動いた角度（`max_step_deg`）
外した理由	ある	データセットの `index.json` に、外した本と理由
人＋AI の確認	ある（区別できない）	AI（VLM）の判定の列と、判定の列

弱いところを数で並べると、こうなりました。

弱いところ	数
推論の記録のうち成否の印がない回	176回のうち108回（結果のファイルがない97回・`outcome` が null の11回）
台帳の自信度（`pick_confidence`）が固定に近い	813行のうち397行が 0.82
台帳の pick の判定と AI の判定の一致	464件のうち413件。人が確かめたかどうかを区別する列がない
台帳の空欄と unknown	pick は空欄152・unknown 27、place は空欄268・unknown 57。試しの行（`run_0042_test`）と dry-run の行も残っている
ずれが分かっているラベル	`scripted_v1` の爪を開く印が約2秒（約20コマ）早い。注記だけで未補正
補った値に1コマごとの印がない	`episode.npz` は `t`・`t_orig`・`state`・`actions` だけ
同じ元の記録の使い回し	19データセット・375本の元は82回。1回の記録が最大14のデータセットに入っている
種類	作業は1つ（赤いブロックを白い箱へ）、物も場所も1つ。画像は 384×216

大きなプラットフォームは作らず、判定の画面を1枚だけ作る

動画の中では、エアリオンが作っているフィジカルAI の開発基盤（動画では Physical AI Studio、画面には Physical AI Canvas と出ていた）が紹介されていました。センサー・ロボット・記録の部品を線でつないでデータ集めを組み、記録の一覧で自動のラベルと点数を見られるものです。エアリオンは矢崎総業にこの基盤を提供すると報じられています。

同じものが要るかを考え、要らないと判断しました。理由は3つです。

その基盤は、Python やターミナルを使わない現場の人が組むためのもの。こちらは Claude Code で組めるので、そこは足りている
困っているのは仕組みがないことではなく、印が付いていない回が多いこと。これは画面1枚で片付く
MASTER の設備と作業の決まりでは、実測された詰まりを解く物だけを足す。詰まりは「108回に成否がない」とはっきりしている

ただ、画面の作りから1つ取り入れたい考えがありました。記録を独立した部品にして、映像と状態を同じ時計でそろえていたことです。こちらの弱いところ（爪の印が2秒早い・角度が1.6秒抜ける）は、どちらも時刻のそろえ方から来ています。

作る画面は、1回ずつ録画と関節のグラフと AI の判定を並べ、人がキーで成功・失敗を付けるものにしました。AI が先に判定を付け、人が確かめて直す形です。動画で言っていた「人の判断と AI でブレを確かめる」に当たります。判定の置き場所は新しいファイルなので、MASTER の保存先テーブルに次の行を足してから実装しました。

| フィジカルAI研究室の推論の記録の成功/失敗の判定（AI の先回り判定と人の確定。追記のみ・元の記録は読むだけ） | `runs/pi05_policy_verdicts_v1.csv` |

ねらい：成否の印がない108回をなくし、だれが付けた印かをデータから分かるようにする
変わったこと：判定は新しいファイルに追記だけで残し、1行ごとに labeler（記録したときの入力・AI・人・人が AI を直した・決まり）を持つ。元の記録は書き換えない
見込める効果：成功率を、学習し直した前と後で同じ数え方で比べられる。測った結果は下の「176回の判定を終えた結果」

依頼183：推論の記録に成否を付ける判定の画面を作る

この記事のコード・ログ・データは、1ファイルずつ下に置いています。全文はリンク先にあります。

ファイルの一覧（24本）

01_sec04.txt ― 依頼183 で Claude Code が返した報告・3,076字

02_sec04.txt ― 依頼183 のコードの差分（コミット d595d07）・79,469字

03_sec06.txt ― 依頼185 のコードの差分（コミット 31113c0）・24,586字

04_sec07.txt ― 依頼186 のコードの差分（コミット 8f3dadf）・21,307字

05_sec07.txt ― 依頼187 のコードの差分（コミット 867d4b7）・8,188字

06_sec07.txt ― 依頼189 のコードの差分（コミット eccbc6b）・12,800字

07_sec07.txt ― 依頼190 のコードの差分（コミット b38dcad）・3,821字

08_sec08.txt ― 依頼192 のコードの差分（コミット cde49e5）・15,350字

09_sec08.txt ― 依頼193 のコードの差分（コミット 2066ac2）・12,922字

10_sec08.txt ― 依頼194 のコードの差分（コミット 13f6514）・4,009字

11_sec11.txt ― 依頼196 で Claude Code が返した報告・3,536字

12_sec11.txt ― 依頼196 のコードの差分（コミット 18e579c）・19,502字

13_diag_fill_flags_20261114_episodes.csv ― 依頼196 の測った結果（`diag/fill_flags_20261114/`） / episodes.csv・11,302字

14_diag_fill_flags_20261114_codex_review.txt ― 依頼196 の測った結果（`diag/fill_flags_20261114/`） / codex_review.txt・80,601字

15_each_state_rate_20261115_runs.csv ― 依頼197 の測った数字（diag/teach_state_rate_20261115/） / runs.csv・6,261字

16_each_state_rate_20261115_measure_gaps.py.txt ― 依頼197 の測った数字（diag/teach_state_rate_20261115/） / measure_gaps.py・4,915字

17_each_state_rate_20261115_gaps.csv ― 依頼197 の測った数字（diag/teach_state_rate_20261115/） / gaps.csv・519,629字

18_verdicts.py.txt ― verdicts.py・11,347字

19_seed_verdicts.py.txt ― seed_verdicts.py・14,739字

20_server.py.txt ― server.py・14,197字

21_index.html.txt ― index.html・30,607字

22_test_verdicts.py.txt ― test_verdicts.py・32,647字

23_test_state_source.py.txt ― test_state_source.py・6,732字

24_diag_fill_flags.py.txt ― diag_fill_flags.py・6,226字

依頼箱は11月14日20:19に始め、20:53に終えました（34分）。AI の先回り判定は、vlm_judge と同じ Claude API（claude-sonnet-4-6）で付けています。録画の最後には人がブロックを箱から出している所が写ることがあるので、最後の待ちと HOME へ戻る間のコマは使わないようにしていました。

依頼183 の依頼文

---
作業フォルダ: /Users/shimazueiichi/r2r2r-scripts
上限時間: 120
---
# 依頼183：推論の記録に成功/失敗を付ける判定の画面を作る

実機は動かさない（記録を読むだけ）。フィジカルAI研究室のデータ集めや補正の道具として作る。

## なぜ
runs/pi05_policy/ の推論の記録 176 回のうち、成功/失敗の印があるのは 68 回（成功 41・失敗 27）だけ。残り 108 回には印がない（2026-11-14 に数えた）。
- 94 回は {run_stem}.json も recording/ もなく、frames/ と log.jsonl だけ（10 月の記録）
- 3 回は recording/ はあるが {run_stem}.json がない
- 11 回は {run_stem}.json の outcome が null
もうひとつ、今ある判定は誰が付けたか（人か AI か）がデータから分からない。
エイイチの決め（2026-11-14）：大きなプラットフォームは作らず、判定のための画面を 1 枚だけ作る。AI が先に判定を付け、人が確かめて直す。

## 守ること
- 元の記録（runs/pi05_policy/ の中身・台帳・datasets/）は読むだけ。上書き・移動・削除しない
- 判定は新しいファイル 1 本に追記だけで残す（既存の行は書き換えない。同じ run_stem に後から行を足したら、いちばん新しい行が正）
- 書き込むときは ensure_ssd_mounted() 相当のマウント確認を入れる。KIOXIA がなければ止めて報告する（ローカルに逃がさない）
- 画面で alert / confirm などのダイアログは使わない

## 判定の置き場所（保存先テーブルに行を足してから実装する）
/Volumes/KIOXIA/r2r2r-data/runs/pi05_policy_verdicts_v1.csv
列：
| 列 | 中身 |
|---|---|
| labeled_at | 判定した時刻（ISO8601） |
| run_stem | 記録の名前 |
| pick | yes / no / unknown |
| place | yes / no / unknown |
| outcome | success / failure / unknown / not_judgeable（映像が足りず判定できない） |
| labeler | run_input（記録したときの入力を写したもの） / ai / human（AI と同じ判定を人が確かめた） / human_fixed_ai（人が AI と違う判定にした） / human_only（AI の判定なしで人が付けた） |
| ai_outcome | AI の判定（参考。人の行にも写しておく） |
| ai_reason | AI の判定の理由 |
| evidence | 判定に使った素材（top.mp4 / frames / both） |
| note | 人のひとこと（空でよい） |

決まり：AI だけの行（labeler=ai）は「まだ確定していない」扱い。確定は人の行。handover の台帳の outcome_source（VLM 単独で確定しない）と同じ考え方。

## やること
1. 今ある判定の写し：{run_stem}.json に outcome があり null でない 68 回を、labeler=run_input の行として書く（json は書き換えない）
2. AI の先回り判定：印のない 108 回に、AI（今の vlm_judge と同じ Claude API）で成功/失敗を付けて labeler=ai の行を書く。素材は recording/top.mp4 があれば最後のほうのコマ、なければ frames/ の最後の数枚。素材が足りなければ not_judgeable にする。API が使えないときは飛ばして、何回分を飛ばしたか報告に書く
3. 判定の画面（pi05/verdict_viewer/ に置く。Mac で python3 一発で立ち上がり、ブラウザで localhost を開く形）
   - 左に記録の一覧。既定は「人の確定がまだの回」だけ。絞り込みで全部・失敗だけ・AI と人が違う回も見られる
   - 右に 1 回分：top.mp4 の再生（なければ frames/ のコマ送り）、関節 6 本と爪のグラフ（recording/states.csv、なければ log.jsonl の state）、AI の判定と理由、今の確定の判定
   - キーで判定：y 成功 / n 失敗 / u 分からない / x 判定できない、←→ で前後の回。押したらその場で 1 行追記して次の回へ進む
   - pick と place を分けて付けたいときは、画面のボタンで別々に選べるようにする（キーは outcome だけでよい）
4. 確かめ：テスト（追記だけで既存行を変えないこと、マウントがないと止まること、最新行が正になること）。画面を実際に立ち上げ、1 回分の判定が CSV に入るところまで確かめ、画面の写し（png）を報告に添える
5. codex にレビューを頼み、変えたファイルだけを指定して commit（git add . と git clean は使わない）

## 報告に書くこと
- 写した判定の数（success / failure / unknown）と、AI が付けた数（success / failure / unknown / not_judgeable / 飛ばした）
- 画面の起動コマンド（エイイチが打つ 1 行）
- 画面の写し
- 決めてほしいことがあれば
- 最後の 1 行に「判定：合格／止めた（決めてほしいことあり）／失敗」

依頼183 で Claude Code が返した報告

01_sec04.txt3,076字・67行・text

# 結果：20261114_183_推論の記録に成功と失敗を付ける判定の画面を作る

- 状態：完了
- 始めた時刻：2026-11-14 20:19
- 終わった時刻：2026-11-14 20:53（34分）
- 作業フォルダ：/Users/shimazueiichi/r2r2r-scripts
- この続きを Claude Code で話すとき：作業フォルダで `claude --resume 6f23d901-7e95-4c8d-ba56-63a99a700e3e`

今の判定	回数
成功	55
失敗	37
試行でない（アームを動かしていない）	50
判定できない	33
分からない	1

だれが確定したか	回数
記録したときの入力	68
決まり（依頼185）	83
人が画面で確定（AI と同じ）	20
人が画面で確定（AI を直した）	5

1秒を超える抜けの原因	抜けた時間に占める割合	アームが動いた量に占める割合
爪の開け閉めを待つ間（開く約6.03秒・閉じる約2.03秒）	62.4%	1.0%
動きを送ったあとの1秒の待ち（daemon が1秒寝てから返事をする）	37.6%	58.5%

案	中身	見込み	関節の動きへの影響
案1	電流を記録している仕組みが0.1〜0.16秒おきに読んでいる角度を、記録にも書く	読みの間隔は0.1〜0.16秒。送ったあとの1秒の抜けは残る	変わらない（低い）
案2	送ったあとの1秒の待ちを daemon から Mac に移し、その間も読む	案1と合わせ、動いている間の抜けがほぼなくなる	中。「送ったあとの待ち1.0秒は短くしない」の書き方を変えることになる
案3	送ったあとの待ちを0にする	抜けはなくなる	中〜高。区間のつなぎが変わる。勧めない

順	やること	要るもの
1	案1（電流の記録の角度を手教示の記録にも書く）を作る。実装・テスト・レビューまで	依頼箱
2	実機で1本、次に5本で確かめる。その前に Pi の daemon が11月5日の版かを確かめる	実機・Pi
3	直した記録でお手本を撮り直す	実機
4	学習し直す	Runpod の GPU
5	実機で推論し、判定の画面で成否を付けて、59.8%と比べる	実機・判定の画面

フィジカルAI研究室を作る Log#36 | ロボットアームの学習データに、成否を付ける判定の画面を作った

作業ログ ― 動画の問いから、推論176回のラベルとお手本の補った値を数えるまで

動画で挙がったラベルの項目と、手元のデータを突き合わせた

大きなプラットフォームは作らず、判定の画面を1枚だけ作る

依頼183：推論の記録に成否を付ける判定の画面を作る

依頼183 の依頼文

依頼183 で Claude Code が返した報告

依頼183 のコードの差分（コミット d595d07）

依頼184：判定の画面を立ち上げてブラウザで開く

依頼184 の依頼文

依頼184 で Claude Code が返した報告

依頼185：決めた3つを判定ファイルと画面に入れる

依頼185 の依頼文

依頼185 で Claude Code が返した報告

依頼185 のコードの差分（コミット 31113c0）

依頼186〜191：判定の画面の見た目を、配膳ロボット ブラウザ版にそろえる

依頼186 の依頼文

依頼186 で Claude Code が返した報告

依頼186 のコードの差分（コミット 8f3dadf）

依頼187 の依頼文

依頼187 で Claude Code が返した報告

依頼187 のコードの差分（コミット 867d4b7）

依頼188 の依頼文

依頼188 で Claude Code が返した報告

依頼188 のコードの差分（コミット 955c914）

依頼189 の依頼文

依頼189 で Claude Code が返した報告

依頼189 のコードの差分（コミット eccbc6b）

依頼190 の依頼文

依頼190 で Claude Code が返した報告

依頼190 のコードの差分（コミット b38dcad）

依頼191 の依頼文

依頼191 で Claude Code が返した報告

依頼191 のコードの差分（コミット b5332b9）

依頼192〜195：選んでから確定する2段にし、place に「そこまで行かなかった」を足す

依頼192 の依頼文

依頼192 で Claude Code が返した報告

依頼192 のコードの差分（コミット cde49e5）

依頼193 の依頼文

依頼193 で Claude Code が返した報告

依頼193 のコードの差分（コミット 2066ac2）

依頼194 の依頼文

依頼194 で Claude Code が返した報告

依頼194 のコードの差分（コミット 13f6514）

依頼195 の依頼文

依頼195 で Claude Code が返した報告

依頼195 のコードの差分（コミット bd613b5）

依頼198：絞り込みの矢印を太くし、右に余白をつける

依頼198 の依頼文

依頼198 で Claude Code が返した報告

依頼198 のコードの差分（コミット 0783fd4）

176回の判定を終えた結果

依頼196：補ったコマに1コマごとの印を付け、既存のお手本を数えた

依頼196 の依頼文

依頼196 で Claude Code が返した報告

依頼196 のコードの差分（コミット 18e579c）

依頼196 の測った結果（diag/fill_flags_20261114/）

summary.csv

episodes.csv

README.md

teach_scripted.txt

codex_review.txt

依頼197：手教示の角度が0.32秒おきにしか読めない原因

依頼197 の依頼文

依頼197 で Claude Code が返した報告

依頼197 のコードの差分（コミット 8ca1725）

依頼197 の調べた結果（docs/investigation_20261115_teach_state_rate.md）

依頼197 の測った数字（diag/teach_state_rate_20261115/）

README.md

by_cause.csv

by_phase.csv

teach_motion_by_cause.csv

corr_runs.csv

runs.csv

measure_gaps.py

measure_motion_in_gaps.py

measure_corr.py

gaps.csv

判定の画面と印の道具の、この回の終わりのコード

verdicts.py

依頼186〜191：判定の画面の見た目を、配膳ロボットブラウザ版にそろえる

依頼196 の測った結果（`diag/fill_flags_20261114/`）