---
作業フォルダ: /Users/shimazueiichi/r2r2r-scripts
上限時間: 150
---
# SO-101 で Mac・カメラ2台・アームから取れるデータを全部確かめる（依頼258）

お手本集めと学習に入る前に、SO-101 の構成で「どんなデータが、どの速さ・どの精度・どのずれで取れるか」を実測する。エイイチは机の前にいて、画面の指示どおりにリーダーアームを動かす。**フォロワーは、エイイチがリーダーで動かすテレオペと、最後の再生（6.）のときだけ動く。それ以外の指令は送らない。**

## 前提（依頼248・257 の結果）
- LeRobot は `~/lerobot`、conda 環境 `lerobot`。キャリブレーション済み（`ptm_follower`・`ptm_leader`）
- ポート：フォロワー `/dev/tty.usbmodem5CBC4321631`、リーダー `/dev/tty.usbmodem5CBC4323581`（変わっていたら電圧で見分け直す）
- カメラ：手首＝「USB HD Camera」（HBVCAM）、机側＝「Innomaker-U20CAM-720P」。番号は決め打ちにせず、`so101/desk_cam_focus_257.py` と同じく名前で突き合わせる。依頼257 では Innomaker がつながっておらず、ピント合わせは済んでいない
- 出力は全部 `/Users/shimazueiichi/r2r2r-scripts/so101/check_258/` に置く。データ・画像・動画は git に入れない。KIOXIA には何も作らない（SO-101 の置き場所はまだ決めていない）

## 進め方
エイイチへの指示は、必ず画面のウィンドウに大きな字で出す（ターミナルは見ない前提）。各段階の前に「何秒、何をするか」を出し、スペースで始める。q でいつでも止める。

### 0. つながりを確かめる（動かさない）
- 2枚の基板・サーボ12個・カメラ2台が見えるか。足りなければここで止めて報告
- iPhone（連係カメラ・Iriun）が見えていたら、そのことを書く

### 1. 机側カメラのピント
- `so101/desk_cam_focus_257.py` を起動。エイイチがピントと置き場所を合わせ、スペースで保存して q で終える
- 保存した画像のピントの数値を、依頼248 の画像（中央 2.6）と並べる

### 2. 読み取りの速さ（動かさない）
- 関節：フォロワーとリーダーの位置を同時に読む（LeRobot の sync_read）のを30秒続け、1回にかかる時間の分布（中央値・95%・最大）と、30Hz に収まるかを出す。フォロワーは電流・負荷・温度・電圧も読めるか、読むと何 ms 増えるかも
- カメラ：2台を 1280x720 と 640x480・MJPG・30fps で同時に開き、30秒、1コマごとに届いた時刻（Mac の時計）を記録。実際の fps、コマの間隔の揺れ、落ちたコマ、2台の届く時刻の差を出す。露出・ホワイトバランスが自動か、自動ならどの値か（書き換えはしない）
- カメラ2台とサーボ読みを同時に回したときに、どれかが遅くならないか

### 3. 時刻のずれ（テレオペ）
- テレオペ中に、エイイチがリーダーの爪をすばやく閉じる・開くを5回する。爪は手首カメラにも机側カメラにも映り、関節（爪の軸）にも出るので、同じ出来事が3つの流れのどこに出るかで、手首カメラ・机側カメラ・関節のずれ（ms）を出す。爪の動き始めは、画像の差分で決める
- あわせて、リーダーの角度（action）に対してフォロワーの角度（state）がどれだけ遅れて追いつくかも出す

### 4. 速く動かしていいか（テレオペ）
- ゆっくり・ふつう・速く、の3段で、それぞれ15秒、エイイチが大きく腕を動かす
- 関節ごとに：最大の速さ（°/秒）、リーダーとの差の最大、電流・負荷の最大、温度の上がり方
- 映像：速い段のコマのぶれ（ピントの数値の下がり方）と、フォロワーがリーダーに追いつけずに離れた区間
- LeRobot の SO-101 のフォロワーに、1回に動ける量の上限（max_relative_target など）がどう設定されているか、今の値を読む（変えない）
- テレオペの始めに、リーダーとフォロワーの姿勢が違うとフォロワーが飛ぶかを、コードで確かめて書く（実機では試さない）

### 5. LeRobot の記録の形（テレオペ）
- `lerobot-record` で、10秒×3回の練習を記録する（root は `so101/check_258/dataset/`。Hugging Face には上げない）。fps 30、カメラ名は `wrist` と `desk`
- 記録された形をそのまま報告する：meta の info.json の features（state・action・画像の名前と形・型）、parquet の列、動画の形式（コーデック・解像度・fps）、timestamp の付き方（カメラの実際の撮影時刻か、コマの番号から作った時刻か）
- 1秒あたり・1回あたりの大きさ（MB）。1回を何秒にすると、100回・1000回でどれだけになるか
- 3.で測った時刻のずれと届いた時刻の揺れが、記録された timestamp にどう現れるか（または現れないか）

### 6. 関節の値は正確か
- 記録した1回を `lerobot-replay` でフォロワーに再生する（速さは記録のまま。始める前にウィンドウで確認を取る）。同じ回を2回再生し、到達した角度を記録と2回目で比べる（繰り返しの差・最大の差を関節ごとに）
- サーボの分解能（1目盛が何度か）と、キャリブレーションのファイルの値から、角度の変換が正しいかを確かめる
- 爪の値（開き具合の数字）と、手首カメラに映る爪の開きが合っているか

### 7. 動きを直す仕組み（コードを読むだけ）
推論の途中で人がリーダーで引き取って直し、その区間をお手本として使う流れを作りたい。今の LeRobot（入っている版）で：
- 方策を動かしながら人が割り込む仕組み（HIL・intervention・teleop の割り込み）があるか、どのコマンド・設定か
- 割り込んだ瞬間、リーダーとフォロワーの姿勢が違うときにどうなるか（飛ぶか、合わせるまで待つか）。SO-101 のリーダーのサーボに、フォロワーの姿勢へ寄せる力を入れられるか
- 人が直したコマと AI が動かしたコマを、記録の中で区別できるか（列があるか）
- 実機では試さない。結果と、足りない所を報告に書くだけ

## 絶対にしないこと
- キャリブレーションのやり直し、サーボの EEPROM・ID・上限値の書き換え、max_relative_target などの安全の値の変更
- テレオペと 6. の再生以外でフォロワーに指令を送ること
- カメラの設定の書き換え
- KIOXIA に新しいフォルダを作ること、Hugging Face への送信
- `git add .`・`git clean`

## 報告に書くこと
- 0〜7 の結果を、表を中心に（数値には測った条件を添える）
- 速く動かすときの目安（どの関節が先に限界に来るか、映像のぶれが出始める速さ）
- 時刻のずれの値と、学習のデータとして問題になる大きさか
- 記録の形の実物（features の一覧）と大きさの見積もり
- 直す仕組みで、今の LeRobot でできること・できないこと
- 書いた・使ったスクリプトは `so101/` に置いて個別に add・commit
- 最後の1行に「判定：合格／止めた（決めてほしいことあり）／失敗」
