# 依頼249 映像と関節の時刻のずれ・制御の間隔

作成 2026-11-21T20:58:19 / `diag/measure_timing_alignment.py`

読んだ記録:

- お手本: /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_split10_v2/raw_episodes (10 本) ← 元 /Volumes/KIOXIA/r2r2r-data/runs/run_pick_place/<run>/recording
- 実機推論: /Volumes/KIOXIA/r2r2r-data/runs/pi05_policy の pi05_20261114_182327 〜 pi05_20261119_200424 (20 本)
- 補正お手本: /Volumes/KIOXIA/r2r2r-data/datasets/mecharm_redblock_box_corr_v5/raw_episodes のうちゲームパッド補正の 4 本 (pi05_20261106_183926, pi05_20261106_184452, pi05_20261106_184650, pi05_20261106_184906) ← 元 /Volumes/KIOXIA/r2r2r-data/runs/pi05_policy/<run>. ゲームパッド補正の run は全部で 25 本

表の値は 中央値 / 95%点 / 最大 (n=数).

## 1. 映像と関節の時刻のずれ (記録そのもの)

| 項目 | お手本 (split10_v2) | 実機推論 (直近20本) | 補正お手本 (corr_v5 のゲームパッド分) |
|---|---|---|---|
| 1コマと最寄りの actual の差 (ms) | 99 / 2565 / 3020 (n=10913) | 28 / 1036 / 3172 (n=12070) | 25 / 62 / 1060 (n=4003) |
| 映像のコマ間隔 狙い | 指定なし (カメラ任せ. 約30fps) | 10.0fps | 10.0fps |
| 映像のコマ間隔 実際 (ms) | 33 / 37 / 196 (n=10903) | 102 / 134 / 252 (n=12050) | 102 / 134 / 3326 (n=3999) |
| 関節を読む間隔 狙い | 本体 3.0Hz + 記録スレッド 最大 10.0Hz (本体が眠る間だけ) | 記録スレッド 10Hz + 本体の読み (note=main) | 記録スレッド 10Hz + 本体の読み (note=main) |
| 関節を読む間隔 実際 (ms) | 120 / 304 / 6052 (n=1529) | 93 / 204 / 6422 (n=13984) | 98 / 109 / 3429 (n=5414) |
| 読み取りの失敗 (数) / 弾いた値 | 0 / 0 | 461 / 0 | 0 / 0 |
| コマ数 / actual 数 | 10913 / 1539 | 12070 / 14004 | 4003 / 5418 |

## 1b. 学習データでの組のずれ (作り直した格子で)

組み方 (コードで確認): 10Hz の格子 t を置き, state の関節 6 列 = actual の **線形補間** (np.interp) (補正は actual の間が 0.25 秒を超える所を speed20 の直線で埋める), 爪 = その時刻までの最後の指令, 画像 = capture_ts が t に **いちばん近い** コマ (補正は除いた区間のコマを候補から外す).

| 項目 | お手本 (split10_v2) | 補正お手本 (corr_v5 のゲームパッド分) |
|---|---|---|
| ステップ数 | 1309 | 691 |
| 画像の時刻 − state の時刻 の絶対値 (ms) | 13 / 17 / 21 (n=1309) | 30 / 63 / 3135 (n=691) |
| state の時刻と最寄りの実測の差 (ms) | 44 / 153 / 2924 (n=1309) | 17 / 69 / 192 (n=691) |
| 補間に使った 2 つの実測の間 (ms) | 244 / 2031 / 6052 (n=1309) | 96 / 228 / 3350 (n=691) |
| 0.25 秒を超える間をまたいで補間したステップ (うち 0.5° 超動いた) | 633 (586) | 26 (17) |

補間の誤差の見積もり (実機推論 20 本の密な actual で, 送るたびに 1.04 秒 読めなかったことにして線形補間し, 消した実測と比べた. 6 関節の最大誤差): 全体 1.30 / 5.37 / 9.38 (n=8857)°, 前後で 0.5° 超動いた所 1.91 / 5.68 / 9.38 (n=6835)°. 実機推論の 1 回の動きはお手本の区間の動きより小さいので, お手本の誤差はこれより大きくなりうる.

格子の見つけ方の確かめ: エピソードの state と作り直した state の差の最大 = 0.0° (14/14 本で一致を確認. state_match.csv)

## 1c. カメラ自体の遅れの見積もり

やり方 A (動き出し): 関節の速さが 0.8 秒以上 1.0°/秒未満のあと 5.0°/秒を超えた区間 (前後の読みの間 ≤ 0.35 秒) を関節の動き出し (区間の中点) とし, 映像のコマ間差分 (96x54 灰色・1 秒あたり) が直前の止まりの 中央値 + 6.0×MAD を初めて超えたコマ間 (中点) を映像の動き出しとする. 差 = 映像 − 関節 (正 = 映像が遅れる). 1 件ごとの確からしさ = 関節の読みの間の半分 + コマ間隔の半分.

やり方 B (相互相関): 関節の速さと映像の動きの量を 10ms の格子にのせ, −0.3〜+0.6 秒ずらして相関がいちばん高いずれ.

| 項目 | お手本 (split10_v2) | 実機推論 (直近20本) | 補正お手本 (corr_v5 のゲームパッド分) |
|---|---|---|---|
| A: 映像の遅れ (ms) | 52 / 251 / 413 (n=33) | 90 / 738 / 1414 (n=182) | 65 / 134 / 462 (n=51) |
| A: 1件の確からしさ ± (ms) | 144 / 160 / 169 (n=33) | 117 / 182 / 237 (n=182) | 96 / 149 / 155 (n=51) |
| B: 相関の山のずれ (ms) run ごと | 70 / 86 / 90 (n=10) | 80 / 100 / 100 (n=20) | 60 / 69 / 70 (n=4) |
| B: 山の相関係数 | 0.77 / 0.80 / 0.81 (n=10) | 0.80 / 0.88 / 0.89 (n=20) | 0.77 / 0.82 / 0.82 (n=4) |

## 2. 制御の1回の間隔

| 項目 | お手本 (split10_v2) | 実機推論 (直近20本) | 補正お手本 (corr_v5 のゲームパッド分) |
|---|---|---|---|
| 指令を送った間隔 (s) | 4.08 / 11.51 / 11.68 (n=70) | 0.84 / 4.53 / 50.78 (n=767) | 0.54 / 7.61 / 43.92 (n=174) |
| 送る命令の往復 (s) | 1.043 / 1.058 / 1.064 (n=80) | 0.126 / 0.139 / 0.222 (n=787) | 0.034 / 0.138 / 0.142 (n=178) |
| 送ってから届くまで (s) | 1.74 / 4.62 / 4.68 (n=80) | 1.57 / 7.18 / 10.29 (n=336) | 1.76 / 4.59 / 4.88 (n=46) |
| パッドの 1 刻み 送って着くまで (s) | — | 0.40 / 0.63 / 0.73 (n=7) | 0.18 / 1.09 / 1.09 (n=18) |
| サーボを読む時間 (ms) | 117 / 124 / 221 (n=971) | 79 / 200 / 2195 (n=10771) | — |
| 推論 1 回の待ち latency_s (s) | — | 0.94 / 2.45 / 3.11 (n=357) | 0.63 / 1.73 / 52.97 (n=58) |
| 推論の間隔 (s) | — | 2.93 / 8.44 / 39.57 (n=337) | 4.28 / 23.99 / 40.70 (n=54) |

送る・届くの意味: お手本 (split10_v2): stage 行 = 区間 1 つにつき 1 回送る (single_send_per_segment). 届く = 到着確認まで (segment_elapsed_sec) / 実機推論 (直近20本): send_angles 行. 届く = チャンク 1 つの実行 (t_exec_start→t_exec_end. 中継点こみ). ts_arrival は空 / 補正お手本 (corr_v5 のゲームパッド分): send_angles 行. 届く = チャンク 1 つの実行 (t_exec_start→t_exec_end. 中継点こみ). ts_arrival は空

### 中央値の 2 倍を超えて空いた所 (数)

| 組 | 種類 | つかむ前 | つかんだ後 | 放した後 | その他 |
|---|---|---|---|---|---|
| お手本 (split10_v2) | send | 10 | 4 | 0 | 0 |
| お手本 (split10_v2) | actual | 270 | 124 | 47 | 0 |
| お手本 (split10_v2) | frame | 12 | 1 | 0 | 0 |
| 実機推論 (直近20本) | send | 42 | 48 | 46 | 0 |
| 実機推論 (直近20本) | actual | 225 | 251 | 391 | 0 |
| 実機推論 (直近20本) | frame | 1 | 0 | 0 | 0 |
| 補正お手本 (corr_v5 のゲームパッド分) | send | 18 | 20 | 9 | 0 |
| 補正お手本 (corr_v5 のゲームパッド分) | actual | 19 | 22 | 5 | 0 |
| 補正お手本 (corr_v5 のゲームパッド分) | frame | 8 | 4 | 0 | 0 |

(stage 別の内訳は gaps.csv)
