# 依頼258 SO-101 で取れるデータの実測

- 計測: so101/check_258.py（s0〜s6 すべて ok, 17:07〜17:51）
- 解析: so101/check_258_analyze.py → so101/check_258/analysis.json
- 報告の本体: so101/check_258/REPORT.md
- コミット: 4d79b10 （check_258.py / check_258_analyze.py / replay_logged_258.py / verify_calibration_258.py）
- データ・画像・動画は git に入れていない。KIOXIA・Hugging Face には触れていない

# 依頼258 SO-101 で取れるデータの実測 報告（2026-11-22 17:07〜17:51）

数字の元は `so101/check_258/analysis.json`・`calibration_check.json`。

## 0. つながり
| 項目 | 結果 |
|---|---|
| フォロワー 5CBC4321631 | STS3215 ×6（11.8〜11.9V） |
| リーダー 5CBC4323581 | STS3215 ×6（4.9V） |
| 手首カメラ USB HD Camera | OpenCV 1 |
| 机側カメラ Innomaker-U20CAM-720P | OpenCV 0 |
| iPhone（Iriun Camera） | 見えている（ffmpeg 0・OpenCV 3） |

## 1. 机側カメラのピント（ラプラシアンの分散）
条件：1280x720、中央の領域は幅・高さの20%。

| 画像 | 中央 | 左上 | 右上 | 左下 | 右下 |
|---|---|---|---|---|---|
| 依頼248 desk_opencv1.png | 2.6 | 13.0 | 3.5 | 16.9 | 13.6 |
| 今回 17:16（合わせる前） | 1.4 | 6.3 | 4.4 | 5.8 | 5.9 |
| 今回 17:25〜（4枚） | 1286〜1330 | 58〜66 | 2.2〜2.5 | 23〜27 | 6.8〜7.7 |

中央は約500倍になった。右上・右下は低いままで、机の何もない面が写っているためとみられる。

## 2. 読み取りの速さ（動かさない）
関節（30Hz で回し、読むだけのポートで計測）：

| 条件 | フォロワー位置 中央値/95%/最大 | リーダー位置 | 1周の合計 | 33ms を超えた周 |
|---|---|---|---|---|
| 位置だけ 30秒（900周） | 1.23 / 2.09 / 5.4 ms | 1.07 / 1.95 / 4.3 ms | 2.3 / 3.9 / 8.1 ms | 0 |
| ＋電流・負荷・温度・電圧 15秒 | 1.16 / 1.68 / 4.6 | 1.06 / 1.85 / 3.5 | 6.3 / 10.0 / 14.9 | 0 |
| ＋カメラ2台を同時に 30秒 | 1.13 / 1.59 / 10.2 | 1.05 / 1.30 / 4.6 | 6.2 / 8.4 / 36.9 | 2 |

電流・負荷・温度・電圧は、どれも1つあたり約 1.0ms（中央値）で読める。4つ足すと1周が約 +4ms。

カメラ（MJPG を頼んで 30fps、2台同時、開いた直後の1秒を除く）：

| 条件 | カメラ | 実際の fps | 間隔 中央値/95%/最大 | 落ちたコマ（推定） | 2台の届く時刻の差 中央値/95%/最大 |
|---|---|---|---|---|---|
| 1280x720 | 手首 | 30.03 | 33.0 / 35.4 / 65.9 ms | 8 | 1.7 / 3.7 / 31 ms |
| 1280x720 | 机側 | 30.17 | 33.0 / 35.1 / 66.3 | 4 | |
| 640x480 | 手首 | 30.00 | 33.1 / 36.3 / 65.7 | 9 | 7.5 / 9.5 / 31 |
| 640x480 | 机側 | 30.11 | 33.1 / 35.5 / 84.3 | 6 | |
| 640x480＋関節 | 手首 | 29.90 | 33.1 / 35.1 / 150.4 | 13 | 15.5 / 16.9 / 134 |
| 640x480＋関節 | 机側 | 30.17 | 33.0 / 34.9 / 68.4 | 5 | |

- 開いた直後の1秒は、間隔が最大 0.5〜1秒あく。
- 2台はつながっていないので、届く時刻の差（位相）は開くたびに変わる。
- 同時に回すと、手首カメラに 150ms の穴が1回出た。関節の周も 33ms を2回超えた。
- 露出・ホワイトバランス・ゲイン・FOURCC は、macOS の OpenCV（AVFoundation）では全部 0 が返る。自動かどうか・その値は、この方法では読めない（書き換えはしていない）。

## 3. 時刻のずれ（テレオペ、爪の開け閉め）
- 1回目はリーダーの爪が動いておらず（最大 0.8）、数えていない。
- 2回目は合図の前に動きがあり、外れ値として扱う。
- 3〜5回目の結果（リーダーの爪が動き始めた時刻を 0 とした ms）：

| 回 | フォロワーの爪（関節） | 手首カメラ | 机側カメラ |
|---|---|---|---|
| 3 | +102 | +111 | +124 |
| 4 | +102 | +92 | +43 |
| 5 | +100 | +74 | −44 |

- 手首カメラ − フォロワーの関節：+9 / −10 / −26 ms。1コマ（33ms）以内で揃っている。
- 机側カメラは画面の中の爪が小さく、+22〜−145 ms とばらついた。信用できない。
- リーダー（action）に対するフォロワー（state）の遅れ（s34 全体の相互相関）：

| 関節 | 遅れ | 相関 |
|---|---|---|
| shoulder_pan | 130ms | 0.99 |
| shoulder_lift | 110ms | 0.99 |
| elbow_flex | 105ms | 0.98 |
| wrist_flex | 105ms | 0.99 |
| wrist_roll | 100ms | 0.97 |
| gripper | 170ms | 0.86 |

## 4. 速く動かしていいか（テレオペ、各15秒）
単位：速さ °/s（99パーセンタイル）、差 °、電流 mA、負荷 %。

| 関節 | ゆっくり 速さ/差最大 | ふつう | 速く | 速く 電流最大/負荷最大 | 温度（全体） |
|---|---|---|---|---|---|
| shoulder_pan | 106 / 14.4 | 101 / 13.7 | 203 / 33.1 | 260 / 82 | 27→28 |
| shoulder_lift | 86 / 11.4 | 114 / 16.1 | 147 / 24.8 | 559 / 75 | 27→28 |
| elbow_flex | 111 / 16.5 | 121 / 17.9 | 170 / 24.0 | 130 / 61 | 26→28 |
| wrist_flex | 107 / 14.2 | 154 / 21.1 | 183 / 26.7 | 214 / 68 | 28→29 |
| wrist_roll | 10 / 3.6 | 0 / 0.4 | 60 / 8.7 | 39 / 28 | 28 |

- 差（リーダー − フォロワー）は、ほぼ「速さ × 約0.1秒」で説明できる。サーボが速さの上限で頭打ちになった形ではない。
- 速い段で差が 10° 以上のまま 0.1 秒以上続いた区間の数：shoulder_pan 7・wrist_flex 9・shoulder_lift 1・elbow_flex 1。
- 先に限界に来るのは shoulder_pan と wrist_flex（差が大きい・離れる回数が多い）。電流がいちばん大きいのは shoulder_lift（559mA、腕を持ち上げる軸）。
- 温度は全体で +1〜2℃。
- 映像のぶれ（手首カメラ、中央の領域のピント、関節1〜5 の速さの最大で区切った中央値）：

| 速さ | ピントの数値 |
|---|---|
| 0〜10°/s | 89.7 |
| 60〜100°/s | 90.3 |
| 100〜150°/s | 104.7 |
| 150〜200°/s | 76.4 |

  150°/s を超えると、止まっているときより約15% 下がる。それより遅いと、写っているもの（机・箱）の違いのほうが大きく、ぶれは見分けられない。机側カメラは中央に腕が写らない時間が長く、この指標は使えなかった。
- max_relative_target：既定値は None（制限なし）。今回の lerobot-record と lerobot-replay も None で動いた（ログで確認）。
- テレオペの始めに姿勢が違うとき（コードで確認）：
  - lerobot-teleoperate と lerobot-record は、1コマ目からリーダーの角度をそのまま Goal_Position に送る。ならす仕組みはない。
  - max_relative_target が None なので、フォロワーはサーボの最高速・最大加速度（connect で Acceleration=254 を書く）で飛ぶ。

## 5. LeRobot の記録の形
条件：`lerobot-record`、640x480・MJPG・30fps、10秒×3回、root=so101/check_258/dataset、push なし。

- 周期：3回とも 29.98Hz。33.3ms を超えた周は 0、処理時間は平均 2.4ms。
- features（info.json、codebase v3.0、robot_type so_follower）：

| 名前 | 型 | 形 | 中身 |
|---|---|---|---|
| action | float32 | [6] | shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos |
| observation.state | float32 | [6] | 同じ6つ |
| observation.images.wrist | video | [480,640,3] | av1 / yuv420p / 30fps / g=2 / crf=30 / preset 12 |
| observation.images.desk | video | [480,640,3] | 同上 |
| timestamp | float32 | [1] | |
| frame_index・episode_index・index・task_index | int64 | [1] | |

- parquet の列：action・observation.state（配列）、timestamp、frame_index、episode_index、index、task_index。
- 動画：3回分が1本の mp4 につながる（各 900コマ・30.000秒、av1 640x480 30/1）。
- timestamp：3回とも frame_index / 30 と完全に一致し、間隔は 33.33ms で揺れ 0。カメラの実際の撮影時刻・届いた時刻はどこにも保存されない。
- 大きさ：

| 範囲 | 大きさ |
|---|---|
| 30秒（3回）全体 | 6.8MB（毎秒 0.227MB） |
| └ 手首の動画 | 3.85MB |
| └ 机側の動画 | 2.84MB |
| └ parquet | 0.035MB |

| 1回の長さ | 1回 | 100回 | 1000回 |
|---|---|---|---|
| 10秒 | 2.3MB | 227MB | 2.3GB |
| 30秒 | 6.8MB | 681MB | 6.8GB |
| 60秒 | 13.6MB | 1.36GB | 13.6GB |

  記録の途中は PNG を一度書き出すので、その間は一時的にもっと大きくなる。
- ずれ・揺れの現れ方：2.・3.で測ったものは、記録の timestamp には現れない。
  - コマの間隔の揺れ（95% で約 36ms）
  - 落ちたコマ（30秒で 4〜13コマ）
  - 2台の届く時刻の差（0〜33ms、開くたびに変わる）
  - リーダーに対するフォロワーの遅れ（約100ms）

  LeRobot は各周で各カメラの「その時点の最新のコマ」を取る（read_latest）。そのため、コマが落ちると前のコマがそのまま入り、timestamp は等間隔のまま。action と state の差は、記録の中でも最大 7.5〜14.7° あった（遅れの分）。

## 6. 関節の値は正確か
lerobot-replay で記録の0回目を2回再生した。周期は中央値 33.3ms、最大 43.6ms。

- 再生の始め 0.5 秒を除いた差（°。爪は 0〜100）：

| 関節 | 再生1−記録 平均/最大 | 再生2−記録 平均/最大 | 再生1−再生2 平均/最大 |
|---|---|---|---|
| shoulder_pan | 0.02 / 0.26 | 0.09 / 0.26 | 0.10 / 0.26 |
| shoulder_lift | 0.13 / 0.53 | 0.28 / 0.62 | 0.33 / 1.05 |
| elbow_flex | 0.07 / 0.62 | 0.18 / 0.35 | 0.15 / 0.97 |
| wrist_flex | 0.04 / 0.18 | 0.19 / 0.53 | 0.18 / 0.53 |
| wrist_roll | 0.09 / 0.09 | 0.06 / 0.09 | 0.02 / 0.09 |
| gripper | 0.00 / 0.00 | 0.07 / 0.07 | 0.07 / 0.07 |

- **再生1の始めにフォロワーが飛んだ**：
  - 再生前の確認では、記録の最初の姿勢との差は 10° 以内だった。
  - ところが再生1の最初のコマで、shoulder_lift は −103→−68.5、elbow_flex は 91→49.8 と、35〜42° 動いていた。
  - 動いた向きは、記録の最後（3回目の終わり：shoulder_lift +63・elbow −96）の向きと同じ。
  - 推定：サーボに残っていた前の Goal_Position へ、connect でトルクが入った瞬間に動いた。
  - 再生2では起きていない（最初のコマの差は 7° 以内）。原因は確定できていない。
- **記録の終わりにフォロワーが落ちた**：3回とも、記録の終わりは休みの姿勢ではなかった（shoulder_lift が +63〜+85、腕を上げた状態）。そのため、終わりにトルクが切れた時点でフォロワーが落ちたはず。
- 分解能とキャリブレーション（読むだけ）：
  - STS3215 の 4096 目盛 → 関節1〜5 は 1目盛 0.0879°。
  - 爪の1目盛：フォロワーは範囲 1476 目盛で 0.068（0〜100）、リーダーは 1216 目盛で 0.082。
  - サーボの Homing_Offset・Min/Max_Position_Limit は、12個すべてファイルと一致した。
  - 生の値から式 (raw − (min+max)/2) × 360/4095 で出した値と LeRobot の値の差は、12個すべて 0.000。
  - 角度の 0 は「キャリブレーションした範囲の真ん中」で、物理的な基準の角度ではない。
- 爪の値と手首カメラ：`gripper_vs_wrist.png` で確認した。
  - 1.0〜1.5 で爪が閉じ、30.7 で片側が外へ開きかけ（ぶれている）、98.2 で片側が画面の外まで開く。向きと大きさは合っている。
  - 画像の変化と爪の値の相関は r=0.42 にとどまる（腕の小さな動きも入るため）。
  - 記録の3回では爪を動かしていない（1.6 のまま）ので、再生で爪の精度は見ていない。

## 7. 動きを直す仕組み（コードを読むだけ、LeRobot 0.7.1）
| 項目 | 今の LeRobot |
|---|---|
| 方策を動かしながら人が割り込む | できる：`lerobot-rollout --strategy.type=dagger --policy.path=... --robot.type=so101_follower ... --teleop.type=so101_leader ...`。space=一時停止/再開、tab=修正の開始/終了 |
| 割り込んだ瞬間の姿勢の違い | 一時停止のとき、リーダーのトルクを入れ、フォロワーが最後に指令された姿勢まで2秒で寄せる（`teleop_smooth_move_to`）。そのあとトルクを切って人が動かす → 飛ばない。`--strategy.smooth_handover=false` で無効にできる |
| SO-101 リーダーに寄せる力を入れる | できる：`SOLeader.enable_torque()`・`send_feedback()`（Goal_Position を書く） |
| 人のコマと AI のコマを区別する列 | ある：`intervention`（bool, shape (1,)）。既定（record_autonomous=False）では直した区間だけを記録し、True にすると方策の区間も記録する |
| gym_manipulator・rl の HIL | SO リーダーでは使えない（get_teleop_events を持つのは gamepad と keyboard だけ） |
| lerobot-record で --policy | 0.7.1 にはない（方策の実行は lerobot-rollout に分かれた） |
| 足りない所 | 方策の最初の action に移るときにならす仕組みがあるかは確かめられていない。max_relative_target は既定 None。connect 時の古い Goal_Position の問題（6.）は rollout でも同じはず |
