SO-101 失敗から学ぶアームを作る Log#4 | お手本集めの前に、SO-101 のデータのずれを測る
この記事の素材(コード・ログ・データ 14ファイル・まとめてダウンロードあり)arrow_downwardAIで読む ChatGPT・Claude などで、この記事に質問できます expand_more
ロボットアーム SO-101 を Hugging Face の LeRobot 0.7.1 で動かして記録すると、関節の角度は1目盛 0.088° で読め、記録した動きを2回再生しても差は最大 1.05° だった。手首カメラの映像と関節の値のずれも1コマ(33ms)以内に収まった。 ただし、LeRobot が記録に付ける時刻はカメラが実際に撮った時刻ではなく「コマの番号 ÷ 30」で、記録した動きを再生した瞬間に、フォロワーアームが 35〜42° 飛ぶことがあった。どれも実物のアームと2台の USB カメラを Mac につないで測った値です。
これで変わること。
- 模倣学習(人がやって見せた動きを AI にまねさせる学習)のお手本を、何に気をつけて撮ればよいかが数字で決まった。映像は 640x480・30fps、動かす速さは 150°/s まで(それより速いと手首カメラの映像がぶれる)、記録は休みの姿勢で終える
- データの大きさが先に分かった。1秒あたり 0.23MB なので、30秒のお手本を1000回撮っても 6.8GB。保存先の容量で困ることはない
- 推論の途中で人が割り込んで直す仕組み(DAgger)が LeRobot にそろっていて、割り込む瞬間にアームが飛ばない作りだと分かった。前のアーム mechArm 270 ではゲームパッドで直す道具を自分で作っていたが、SO-101 では既にある仕組みを使える
- 確かめは Claude Code への依頼1本(依頼258)で、測定は44分、報告まで54分だった。人は画面に大きく出る指示どおりにリーダーアームを動かしただけで、ターミナルは見ていない。前のアームで同じ確かめをした時間は測っていない
気になったのは、記録の時刻の付き方と、再生の飛びです。LeRobot は2台のカメラから「その時点の最新のコマ」を取り込み、時刻はコマの番号から作ります。カメラのコマが落ちても、時刻は等間隔のまま、前のコマがもう一度入ります。30秒で 4〜13 コマ落ちていました。そして再生では、確認では差が 10° 以内だったのに、力が入った最初のコマで肩とひじが大きく動いていました。サーボの中に、前の記録の終わりの目標の角度が残っていたためとみています。
| やったこと | なぜ | 結果 |
|---|---|---|
机側カメラのピントを、数値を見ながら合わせた(依頼257・258) | 届いた日の写真がピンぼけだった | 中央のピントの数値が 2.6 から 1330 に上がった |
関節とカメラ2台を、動かさずに読んだ | 30Hz(1秒に30回)の記録に間に合うかを見る | 関節は1回 2〜4ms で読める。カメラは2台とも約30fps |
テレオペで爪を開け閉めし、3つの流れに出る時刻を比べた | 上カメラと爪カメラと関節が同期しているかを見る | 手首カメラと関節は1コマ以内。机側カメラは爪が小さく測れなかった |
ゆっくり・ふつう・速くの3段で動かした | 速く動かしていいかを見る | フォロワーは約0.1秒遅れてついてくる。150°/s を超えると映像がぶれる |
LeRobot で10秒×3回を記録し、1回を2回再生した | 記録の形と関節の正確さを見る | 再生の差は最大 1.05°。ただし再生1の始めに 35〜42° 飛んだ |
推論中に人が割り込む仕組みを、コードを読んで調べた | 失敗を人が直して学ばせる流れを作りたい | lerobot-rollout の DAgger で割り込め、直したコマには印が付く |
測った数字を、データ収集の前のチェックリストのガイドにした | LeRobot でお手本を撮り始める人が、検索で見つけられるようにする | 主の語は lerobot record。日本語の「データ収集」の語は検索のデータがなかった |
SO-101 で集めたお手本の学習は、Runpod で GPU を借りて回す予定です。GPU を買うか借りるかの判断は、Runpod で実際に借りて学習させた費用をもとに、別のページにまとめています。
導入比較ガイドロボットAIの学習用GPU、買うか借りるか実際に借りて学習させた費用と、損益分岐の計算機で決められますarrow_forward作業ログ ― 机側カメラのピントを、数値を見ながら合わせた(依頼257)
この記事のコード・ログ・データは、1ファイルずつ下に置いています。全文はリンク先にあります。
ファイルの一覧(14本)
01_2.6_1330_desk_cam_focus_257.py.txt ― 机側カメラのピントは、中央の数値 2.6 から 1330 になった / ピント合わせの画面のスクリプト desk_cam_focus_257.py(全文)・8,301字
02_sec02.md ― 測る順番は、動かさない段階からテレオペへ / 依頼258 の依頼文(全文)・3,325字
03_sec07.md ― 依頼258 の報告(全文)・3,520字
04_REPORT.md ― 依頼258 の報告の本体 REPORT.md(全文)・7,783字
05_sec07.md ― Claude Code の作業の記録 logs/20261122_1753.md(全量)・8,122字
06_check_258.py.txt ― 測るスクリプト check_258.py(全文)・30,655字
07_check_258_analyze.py.txt ― 集計するスクリプト check_258_analyze.py(全文)・19,396字
08_analysis.json ― 集計の結果 analysis.json(全量)・41,477字
09_calibration_check.json ― キャリブレーションの確かめの結果 calibration_check.json(全量)・7,474字
10_s0_servos.json ― 段階0 サーボの読み取り s0_servos.json(全量)・3,615字
11_s5_record.log.txt ― 段階5 lerobot-record の出力 s5_record.log(全量)・22,898字
12_dataset_meta_info.json ― 段階5 記録の形 dataset/meta/info.json(全量)・3,668字
13_s6_replay1.log.txt ― 段階6 再生1の出力 s6_replay1.log(全量)・3,425字
14_s6_replay2.log.txt ― 段階6 再生2の出力 s6_replay2.log(全量)・3,424字
SO-101 は、人が手で動かす黒いリーダーアームと、その動きをまねる白いフォロワーアームの2本組です(前の記録 LOG544 で、箱を開けてテレオペまで進めた)。カメラは2台で、フォロワーの爪の近くに付けた手首カメラと、机を上から写す机側カメラです。机側カメラは InnoMaker の USB カメラ(U20CAM-720P・720p・画角120°)で、iPhone のように毎回付け外ししなくてよいよう、固定で使います。
届いた日に撮った机側カメラの写真はピンぼけでした。ケーブルが短く、カメラを低く置いていたためです。延長ケーブルが届いたので、まずピントを合わせました。
ピントの数値は、画像の細かさを測るラプラシアンの分散
ピントが合っているかを目で見るだけだと、どこで止めればよいか分かりません。そこで、画面に数値を出しながらレンズを回しました。数値は「ラプラシアンの分散」で、画像の中の明るさの変わり目がどれだけ鋭いかを表します。ピントが合うほど大きくなります。ただし、同じ物を写しているときにしか比べられません。白い机だけを写すと、ピントが合っていても小さいままです。
画面の中央と四隅の5か所で測り、中央の値を大きく出し、それまでの最大も並べました(OpenCV で cv2.Laplacian(...).var() を計算する)。
依頼257 では、机側カメラが Mac から見えていなかった
ピント合わせの画面を作る依頼を、依頼箱(Claude Code への依頼を置くと、Mac の見張り係が自動で渡して報告を書き戻す仕組み)に置きました。画面のスクリプトはできましたが、起動したときに机側カメラが Mac の USB の一覧に出てこず、止まりました。延長ケーブルが届いたばかりで、まだつないでいなかったためです。
報告で分かったことが1つあります。この Mac では、カメラの番号の並びが ffmpeg と OpenCV で違っていました(Iriun は ffmpeg で0・OpenCV で1、内蔵の FaceTime は ffmpeg で1・OpenCV で0)。番号を決め打ちにすると、別のカメラを開いてしまいます。そのため、カメラは名前で探して開く形にしました。実際、次の依頼258 では、手首カメラと机側カメラの番号が届いた日と入れ替わっていました(手首が1・机側が0)。
依頼257 の依頼文(全文)
---
作業フォルダ: /Users/shimazueiichi/r2r2r-scripts
上限時間: 45
---
# SO-101 の机側カメラ(InnoMaker)のピントと置き場所を合わせる画面を出す(依頼257)
依頼248 で、机側カメラ(Innomaker-U20CAM-720P、OpenCV の番号は 1 だった)の画像がピンぼけだった。延長ケーブルが届いたので、エイイチがカメラを使う場所に固定し、レンズを回してピントを合わせる。そのための「見ながら合わせる画面」を作って、Mac の画面に出してほしい。**アームは動かさない。サーボには触らない。**
## 作るもの:`so101/desk_cam_focus_257.py`
- 机側カメラを 1280x720・MJPG・30fps で開く
- カメラは番号の決め打ちにしない。`ffmpeg -f avfoundation -list_devices true -i ""` などで名前に「Innomaker」を含む機器を探し、OpenCV の番号と突き合わせて開く。見つからなければ一覧を表示して止める。どう突き合わせたかを報告に書く
- 画面(OpenCV のウィンドウ)に重ねて出すもの
- ピントの数値:ラプラシアンの分散を、中央と四隅の5か所で。中央の数値は大きく、これまでの最大値も並べる(レンズを回して一番大きい所で止められるように)
- 画面を縦横3等分する細い線
- 解像度・実際の fps
- キー操作:スペース=静止画を保存(`so101/check_257/desk_{時刻}.png`。そのときのピントの数値5つを同じ名前の .json に)、q=終了。何も押されなくても20分で自動で終わる
- 画像と JSON は git に入れない。スクリプトだけ個別に add して commit する
## やること
1. スクリプトを書き、カメラを開かずに動く部分(数値の計算など)を確かめる
2. スクリプトを起動して、Mac の画面にウィンドウを出す。エイイチがピントを合わせて q を押すか、20分たつまで待つ
3. 終わったら、保存された静止画の一覧と、それぞれのピントの数値を報告する。依頼248 の `so101/check_248/desk_opencv1.png` の同じ数値も計算して並べる(どれだけ良くなったか分かるように)
## 絶対にしないこと
- アーム・サーボへの読み書き、キャリブレーション、テレオペ
- 露出・ホワイトバランスの固定などカメラの設定を書き換えること(今回は見るだけ。固定は置き場所が決まってから別の依頼で)
- KIOXIA に新しいフォルダを作らない
- `git add .`・`git clean`
## 報告に書くこと
- カメラの見つけ方(名前と番号の突き合わせ)と、開いた番号
- 保存した静止画のパスとピントの数値、依頼248 の画像との比べ
- 最後の1行に「判定:合格/止めた(決めてほしいことあり)/失敗」
依頼257 の報告(全文)
# 結果:20261122_257_SO101の机側カメラのピント合わせの画面を出す
- 状態:完了
- 始めた時刻:2026-11-22 16:25
- 終わった時刻:2026-11-22 16:27(2分)
- 作業フォルダ:/Users/shimazueiichi/r2r2r-scripts
- この続きを Claude Code で話すとき:作業フォルダで `claude --resume ccee8cb2-bc07-4741-8ea5-0950f98832ed`
## Claude Code の報告
**やったこと**
- ピントを見ながら合わせる画面のスクリプト `so101/desk_cam_focus_257.py` を新しく書き、このファイルだけを個別に add して commit しました(84e2bba)。
- 1280x720・MJPG・30fps を頼んで開きます。露出・ホワイトバランスなどのカメラの設定には触りません。
- 画面には、ピントの数値を中央と四隅の5か所で出します。中央の数値は大きく出し、これまでの最大値も並べます。ほかに縦横3等分の線、解像度、実際の fps、残り時間を重ねます。
- スペースで `so101/check_257/desk_{時刻}.png` と同じ名前の .json(ピントの数値5つ)を保存します。q で終わり、何も押さなくても20分で終わります。
- `--score-image 画像` を付けると、カメラを開かずに画像のピントの数値だけを出します。
- カメラの見つけ方は、ffmpeg の機器一覧と cv2_enumerate_cameras(OpenCV の番号と名前の対を返すもの。既存の camera_resolver と同じ仕組み)の両方で、名前に「Innomaker」を含む機器を探します。両方に出たときだけ、OpenCV 側の番号を開きます。見つからなければ両方の一覧を出して止めます。
- この Mac では、ffmpeg と OpenCV で番号の並びが違っていました。Iriun は ffmpeg では 0、OpenCV では 1 です。FaceTime は ffmpeg では 1、OpenCV では 0 です。なので、ffmpeg の番号をそのまま OpenCV に渡すと別のカメラを開きます。名前で突き合わせる形にしたのはこのためです。
- カメラを開かない部分を確かめました。
- ランダムな画像とそれをぼかした画像では、5か所すべてでぼかしたほうの数値が下がりました(中央は 48438 から 4)。
- 画面の描画と、2つの機器一覧の読み取りも動きました。
- スクリプトを起動しましたが、Innomaker が見つからず、一覧を出して止まりました。
**結果**
- ウィンドウは出せていません。保存した静止画は0枚です。
- Innomaker は Mac に USB で見えていません。
- ffmpeg の一覧:Iriun Camera、FaceTime HDカメラ、Capture screen 0
- OpenCV の一覧:0 FaceTime HDカメラ、1 Iriun Camera
- system_profiler の USB 一覧:KIOXIA の SSD(EXCERIA PLUS G2)だけ
- 比べるための依頼248 の `so101/check_248/desk_opencv1.png`(1280x720)のピントの数値は、中央 2.6、左上 13.0、右上 3.5、左下 16.9、右下 13.6 です。
- アーム・サーボには触っていません。カメラの設定も書き換えていません。KIOXIA には何も作っていません。
- 作業記録を `logs/20261122_1627.md` に書きました。
**変えたファイル**
- `so101/desk_cam_focus_257.py`(新規)
**決めてほしいこと**
- 延長ケーブルを通して Innomaker を Mac につないだあと、もう一度起動するかどうか。起動は `python3 so101/desk_cam_focus_257.py` です(cv2_enumerate_cameras が入っている miniforge の base の python3 で動かします)。保存した静止画の数値は、`--score-image` で上の依頼248 の数値と並べて比べられます。
判定:止めた(決めてほしいことあり)
Claude Code の作業の記録 logs/20261122_1627.md(全量)
# 依頼257 SO-101 机側カメラのピント合わせ画面
- 新規: so101/desk_cam_focus_257.py (commit 84e2bba)
- カメラの探し方: ffmpeg avfoundation の一覧と cv2_enumerate_cameras (OpenCV 番号と名前) の両方で名前に「Innomaker」を含むものを探し, OpenCV 側の番号を開く
- この Mac では ffmpeg と OpenCV で番号の並びが違う (Iriun: ffmpeg 0 / OpenCV 1, FaceTime: ffmpeg 1 / OpenCV 0)
- 起動結果: Innomaker が USB に出ておらず (USB は KIOXIA だけ) 一覧を出して止めた. ウィンドウは出ていない. 静止画 0 枚
- 依頼248 desk_opencv1.png のピントの数値: 中央 2.6 / 左上 13.0 / 右上 3.5 / 左下 16.9 / 右下 13.6
- 決めてほしいこと: カメラをつないだうえで再起動するか
机側カメラのピントは、中央の数値 2.6 から 1330 になった
カメラをつないだあと、次の依頼258 の最初の段階で、このスクリプトをもう一度起動しました。最初の映像は、何が写っているか分からないほどぼけていました(中央 1.4)。レンズを大きく回して形が見えてきたところで、マットの真ん中に線を引いた紙を置き、中央の数値がいちばん大きくなる所で止めました。



| 画像 | 中央 | 左上 | 右上 | 左下 | 右下 |
|---|---|---|---|---|---|
| 届いた日の写真(依頼248) | 2.6 | 13.0 | 3.5 | 16.9 | 13.6 |
| レンズを回す前(17:16) | 1.4 | 6.3 | 4.4 | 5.8 | 5.9 |
合わせたあと(17:25、4枚) | 1286〜1330 | 58〜66 | 2.2〜2.5 | 23〜27 | 6.8〜7.7 |
- ねらい:お手本のどの回でも、机の上の物が同じくっきりさで写るようにする
- 変わったこと:中央のピントの数値が約500倍になった。カメラは固定したので、この状態がそのまま続く
- 見込める効果:ブロックや爪の輪郭がぼけないので、学習で物の位置を読み取りやすくなる見込み。学習の成功率で確かめる
120° の広角レンズなので、画面の端は丸く曲がって写ります。学習に使うだけなら、いつも同じ曲がり方なので問題になりません。映像から長さを測るときだけ、チェッカーボードを撮って曲がりを補正します。
ピント合わせの画面のスクリプト desk_cam_focus_257.py(全文)
"""SO-101 の机側カメラ (Innomaker-U20CAM-720P) のピントと置き場所を見ながら合わせる画面 (依頼 257).
アーム・サーボには触らない. カメラの設定 (露出・ホワイトバランスなど) も書き換えない.
頼むのは 1280x720・MJPG・30fps の取り込みだけ.
カメラの見つけ方:
- ffmpeg -f avfoundation -list_devices true -i "" で名前に "Innomaker" を含む機器を探す
- cv2_enumerate_cameras (camera_resolver と同じ) で OpenCV の番号と名前の対を取り,作業ログ ― SO-101 から取れるデータを全部確かめる計画(依頼258)
お手本を何百本も撮り始めてから、データに欠けや食い違いが見つかると、撮り直しになります。そこで、撮る前に全部を確かめることにしました。相談の始まりはこの発言でした。
macとカメラ、アームを繋いだら、どんなデータが取れるかを全てチェックします。アームを素早く動かしていいのか?上カメラと爪カメラは同期できているのか?アームの各関節のデータは正確に取得できているのか?アームの動きを修正する場合の仕組みはちゃんと機能するのかなど。どのようなデータをどのような構成になっていればいいのかを全て確認します。
この記録で使う言葉
| 言葉 | この記録での意味 |
|---|---|
| テレオペ | 人がリーダーアームを手で動かし、フォロワーアームが同じ角度に動くこと |
| action | 記録の中の「リーダーの角度」。学習したあとは、モデルが出す次の角度になる |
observation.state | 記録の中の「フォロワーの今の角度」 |
| timestamp | 記録の各コマに付く時刻。LeRobot は「コマの番号 ÷ 30」で付ける |
max_relative_target | LeRobot の設定で、フォロワーが1コマに動ける角度の上限。既定は「上限なし」 |
| Goal_Position | サーボの中にある「目標の角度」。力(トルク)が入ると、サーボはこの角度へ向かう |
| DAgger | 推論の途中で人が割り込んで直し、直した区間をお手本として学ばせるやり方 |
LeRobot は Hugging Face が配る、ロボットのお手本の記録・学習・推論の道具です。SO-101 は LeRobot が最初から扱えるアームで、lerobot-record(記録)・lerobot-replay(再生)・lerobot-rollout(学習したモデルで動かす)といったコマンドがそろっています。
測る順番は、動かさない段階からテレオペへ
アームを動かすのは人(リーダーを手で動かすテレオペ)と、記録の再生のときだけにしました。依頼箱では普段、実機を動かす依頼は自動で始めないので、この依頼は「確認待ち」に置き、カメラとアームをつないだあとで実行に回しました。
| 段階 | 何を測るか | アーム |
|---|---|---|
| 0 | つながり(基板2枚・サーボ12個・カメラ2台) | 動かさない |
| 1 | 机側カメラのピント | 動かさない |
| 2 | 関節とカメラを読む速さ | 動かさない |
| 3 | 爪の開け閉めで、3つの流れの時刻のずれ | テレオペ |
| 4 | ゆっくり・ふつう・速くの3段 | テレオペ |
| 5 | LeRobot の記録の形(10秒×3回) | テレオペ |
| 6 | 記録の1回を2回再生して、関節の正確さ | 再生 |
| 7 | 推論中に人が割り込む仕組み | コードを読むだけ |
同期を確かめる方法は、爪をすばやく閉じる・開くことにしました。爪は手首カメラにも机側カメラにも写り、関節の値(爪の軸)にも出ます。同じ出来事が3つの流れのどこに出るかを比べれば、時刻のずれが ms で出ます。
依頼258 の依頼文(全文)
---
作業フォルダ: /Users/shimazueiichi/r2r2r-scripts
上限時間: 150
---
# SO-101 で Mac・カメラ2台・アームから取れるデータを全部確かめる(依頼258)
お手本集めと学習に入る前に、SO-101 の構成で「どんなデータが、どの速さ・どの精度・どのずれで取れるか」を実測する。エイイチは机の前にいて、画面の指示どおりにリーダーアームを動かす。**フォロワーは、エイイチがリーダーで動かすテレオペと、最後の再生(6.)のときだけ動く。それ以外の指令は送らない。**
作業ログ ― 画面の大きな字の指示どおりに、リーダーを動かして測った
依頼258 は 17:00 に始まり、Claude Code が測るスクリプトを書いたあと、17:07 に Mac に指示のウィンドウが開きました。指示は全部このウィンドウに大きな字で出て、スペースで次へ進み、q でいつでも止められます。

最初のつまずきは、段階0の画面のままピント合わせを待っていたことでした。この画面でスペースを押すと、段階1の説明に進み、もう一度スペースでピント合わせの画面が開く作りでした。
テレオペの前に、リーダーをフォロワーと同じ姿勢にそろえた
テレオペを始める前の画面には、リーダーとフォロワーの角度の差が関節ごとに出て、関節1〜5 は 10° 以内・爪は 15 以内になるまで始められないようにしてありました。LeRobot は、テレオペの1コマ目からリーダーの角度をそのままフォロワーに送ります。差が大きいまま始めると、フォロワーがその差を一気に動くからです。最初は肩(2つ目の shoulder)が −16.8°、手首(wrist_fl)が +34.6° ずれていて、リーダーを手で動かしてそろえました。

速い段の机側カメラの映像
「速く」の段では、15秒のあいだ腕全体を大きく、速く動かしました。机側カメラの映像では、フォロワーが大きく振れているのが分かります。
再生の準備では、フォロワーを手で動かして記録の最初の姿勢に合わせた
段階6の再生の準備で、フォロワーがリーダーについてこない、という場面がありました。これは作りのとおりで、再生ではリーダーを使わず、力の抜けたフォロワーを手で動かして、記録の最初の姿勢に合わせる段階でした。差は手首が −65.4°、肩が −34.1° あり、手でそろえてから再生しました。

17:51 に段階0〜6 がすべて終わり、17:54 に報告が届きました。
作業ログ ― SO-101 と LeRobot から取れるデータは、こうなっていた
関節の値は 0.088° 刻みで、記録を再生した差は最大 1.05°
SO-101 のサーボ STS3215 は1回転を 4096 目盛で読むので、1目盛は 0.0879° です。キャリブレーションの値は12個ともサーボの中とファイルで一致し、生の値から角度に直す式も、LeRobot の値と差 0.000 でした。記録の1回を2回再生すると、再生の始め 0.5 秒を除いて、記録との差は最大 0.62°、2回の再生どうしの差は最大 1.05° でした。
角度の 0° は「キャリブレーションで動かした範囲の真ん中」で、物の向きや水平といった物理的な基準ではありません。キャリブレーションをやり直すと、同じ数字が違う姿勢を指すことになるので、校正のファイルはデータと組で残す必要があります。

爪の値は、1 で閉じ、98 で全開でした。手首カメラに写る爪の開きと、向きも大きさも合っていました。ただし記録の3回では爪を動かしていないので、再生での爪の正確さは見ていません。
手首カメラと関節のずれは1コマ以内、机側カメラは測れなかった
リーダーの爪が動き始めた時刻を 0 として、ほかの流れに動きが出た時刻を比べました。5回のうち、1回目はリーダーの爪が動いておらず、2回目は合図より前に動いていたので、3回分を使いました。
| 回 | フォロワーの爪(関節) | 手首カメラ | 机側カメラ |
|---|---|---|---|
| 3 | +102ms | +111ms | +124ms |
| 4 | +102ms | +92ms | +43ms |
| 5 | +100ms | +74ms | −44ms |
手首カメラとフォロワーの関節の差は +9 / −10 / −26ms で、3回とも1コマ(33ms)以内に収まりました。 机側カメラは、画面の中の爪が小さくて動き始めが決められず、−44〜+124ms とばらつきました。この値は使えません。ただ、カメラ2台のコマが Mac に届く時刻の差は、中央値で 1.7〜7.5ms でした。机側カメラも大きくずれてはいないとみていますが、本番のお手本を撮る前に、大きく写る物で測り直します。
記録の時刻は「コマの番号 ÷ 30」で、カメラが撮った時刻は残らない
LeRobot の記録(lerobot-record)の中身は、action と observation.state(どちらも6つの角度)、2本の動画(av1・640x480・30fps)、timestamp などの番号です。timestamp は3回とも「コマの番号 ÷ 30」と完全に一致し、間隔は 33.33ms で揺れが 0 でした。
一方、カメラから実際にコマが届く間隔は、95% で 35〜36ms と揺れていて、30秒で 4〜13 コマ落ちていました。LeRobot は毎回、各カメラの「その時点の最新のコマ」を取り込むので、コマが落ちると前のコマがそのまま入り、時刻は等間隔のままです。記録だけを見ても、どのコマが落ちたかは分かりません。今の落ち方(1% 前後)なら学習への害は小さいとみていますが、落ちた数は別に数えておく必要があります。
大きさは1秒あたり 0.227MB でした。1回30秒なら 100回で 681MB、1000回で 6.8GB です。
フォロワーはリーダーより約0.1秒遅れ、150°/s を超えると手首カメラがぶれる
フォロワーは、関節ごとに 100〜130ms 遅れてリーダーについてきました(爪だけ 170ms)。「速く」の段では、根元の回転が最大 203°/s、手首が 183°/s で、リーダーとの差は最大 33° でした。差はほぼ「速さ × 0.1秒」で、サーボの速さが頭打ちになったわけではありません。温度の上がりは全体で 1〜2℃ でした。
手首カメラの映像は、関節の速さが 150°/s を超えると、止まっているときよりピントの数値が約15% 下がりました。お手本は 150°/s より遅く動かして撮ります。
| 関節 | ゆっくり 速さ/差の最大 | ふつう | 速く | 速く 電流の最大/負荷の最大 |
|---|---|---|---|---|
shoulder_pan(根元の回転) | 106°/s / 14.4° | 101 / 13.7 | 203 / 33.1 | 260mA / 82% |
shoulder_lift(肩) | 86 / 11.4 | 114 / 16.1 | 147 / 24.8 | 559mA / 75% |
| elbow_flex(ひじ) | 111 / 16.5 | 121 / 17.9 | 170 / 24.0 | 130mA / 61% |
wrist_flex(手首の曲げ) | 107 / 14.2 | 154 / 21.1 | 183 / 26.7 | 214mA / 68% |
wrist_roll(手首の回転) | 10 / 3.6 | 0 / 0.4 | 60 / 8.7 | 39mA / 28% |
再生の始めに、フォロワーの肩とひじが 35〜42° 飛んだ
再生の前の確認では、記録の最初の姿勢との差は 10° 以内でした。ところが再生1の最初のコマで、肩は −103° → −68.5°、ひじは 91° → 49.8° と、35〜42° 動いていました。動いた向きは、記録の最後(3回目の終わりの、腕を上げた姿勢)と同じです。サーボの中に前の記録の終わりの目標の角度(Goal_Position)が残っていて、再生でサーボに力が入った瞬間、新しい指令より先にそこへ動いたとみています。2回目の再生では起きておらず、原因はまだ確定していません。
記録の3回は、どれも腕を上げた姿勢で終わっていました。記録の終わりにはサーボの力が抜けるので、フォロワーは落ちたはずです。記録を休みの姿勢で終える決まりが要ります。
LeRobot の設定で、フォロワーが1コマに動ける量の上限(max_relative_target)は、既定では「上限なし」でした。今回の記録と再生も、上限なしで動いていました。
LeRobot 0.7.1 には、推論の途中で人が割り込む DAgger の仕組みがある
学習したモデルで動かしている途中で失敗したら、人がリーダーで引き取って直し、その区間をお手本に足して学ばせたい。この流れは、LeRobot 0.7.1 の lerobot-rollout --strategy.type=dagger でできることが分かりました(コードを読んだだけで、実機では試していない)。
- space で一時停止と再開、tab で直す区間の始めと終わり
- 一時停止したとき、リーダーに力を入れて、フォロワーの姿勢へ2秒かけて寄せてから人に渡す。割り込む瞬間に姿勢が食い違って飛ぶことはない
- 人が直したコマには
interventionの列で印が付き、AI が動かしたコマと分けられる - 方策の最初の動きをならす仕組みがあるかは確かめられていない。再生で起きた「前の目標へ飛ぶ」問題は、この仕組みでも起きるはず
mechArm 270 では、推論を止めてゲームパッドで直す道具を自分で作っていました。SO-101 では、リーダーアームそのものが直す道具になります。
作業ログ ― お手本を撮る前に決めたことと、次の依頼259
報告の「決めてほしいこと」は6つありました。それぞれにおすすめを付けて出し、6つともおすすめどおりで進めることになりました。
| 決めること | 決めた答え | 理由 |
|---|---|---|
| 再生の始めに飛ぶ対策 | A(力を入れる前に、サーボの目標を今の位置に書く)と B(1コマに動ける量を 10° 前後に制限)の両方 | A で原因を消し、B を柵にする。速い段でも1コマの動きは 7° 程度なので、B はふだんの操作を止めない |
テレオペ前に Claude Code が足した一手 | 認める | 依頼に書いていない操作だったが、A と同じ考え方で、アームは動かない |
| 記録の終わりの姿勢 | 休みの姿勢で終える決まりにする | 記録の終わりに落ちるのを防ぐ |
| 机側カメラの同期の測り直し | 後回し(本番前に1回) | 手首カメラは関節と1コマ以内で、カメラ2台の届く時刻もほぼそろっている |
| お手本の解像度 | 640x480・30fps | Physical Intelligence の π0.5 は画像を 224×224 ほどに縮めて使うので、1280x720 は重くなるだけ |
| 露出・ホワイトバランス | 本番前に固定する | 自動のままだと、お手本ごとに明るさが揺れる。Mac の OpenCV では値を読めなかったので、別の道具を探す |
- ねらい:お手本を撮り始めてから、飛び・落下・明るさの揺れで撮り直しにならないようにする
- 変わったこと:LeRobot の記録・再生・テレオペ・割り込みを、こちらで作る共通の入口から呼ぶ形にする。入口で、A・B・休みの姿勢・カメラの設定を必ず通す
- 見込める効果:再生や推論の始めの飛びがなくなる見込み。次の実機の確かめで、わざと前の目標を残した状態から再生して確かめる
関節の制御に関わる変更なので、依頼259 は実装と codex のレビューまでにとどめ、アームは動かしません。実機での確かめは、その次の依頼で人が机の前にいるときに行います。LeRobot 本体のコードは書き換えず、外側から包む形にしたので、LeRobot の版を上げても対策は消えません。依頼259 の結果は次の記録に書きます。
依頼259 の依頼文(全文)
---
作業フォルダ: /Users/shimazueiichi/r2r2r-scripts
上限時間: 150
---
# SO-101 の「力を入れた瞬間に飛ぶ」の対策と、カメラの露出の固定を作り、レビューまで通す(依頼259)
依頼258(報告:`so101/check_258/REPORT.md`、作業の続きは `claude --resume 629cc0d1-6706-4407-9693-4151d50f1ae7`)の「決めてほしいこと」に、エイイチが次のとおり決めた。**この依頼ではアームを動かさない。**関節制御に関わる変更なので、実装と外部レビューまでにとどめ、実機での確かめは次の依頼(確認待ち)で行う。
## 決まったこと
1. 飛び止めは A と B の両方を入れる
- A:フォロワーに力(トルク)を入れる前に、各サーボの目標位置(Goal_Position)を今の位置(Present_Position)に書いておく。依頼258 のテレオペで足した一手と同じ考え方。電源を切ると消える領域だけに書く(EEPROM には書かない)
- B:`max_relative_target` を設定する。値は 1コマ(30Hz)あたり 10° を基本にする。依頼258 の「速く」の段の1コマあたりの最大の動き(関節ごと)を check_258 のデータから出し、10° でふだんのテレオペを妨げないかを数字で確かめて報告する。妨げる関節があれば値の案を出して止める(勝手に大きくしない)
2. 依頼258 で足した A の一手は認める
3. 記録は休みの姿勢で終える、を決まりにする
4. 机側カメラの同期の測り直しは後回し(この依頼ではしない)
5. お手本の解像度は 640x480・30fps・MJPG
6. 露出・ホワイトバランスは本番の前に固定する
## 作るもの
- `so101/` に、LeRobot の record・replay・teleoperate・rollout(dagger)を呼ぶときの共通の入口(ラッパー)を作る。`~/lerobot` のコードは書き換えない(版を上げても消えないように、こちら側で包む)
- 力を入れる前に A を必ず通す。LeRobot の中で力が入る所(connect・configure など)を読み、どこに差し込めば確実かを報告に書く
- B の値と、カメラの設定(wrist・desk、名前で見分ける、640x480・30fps・MJPG)を既定値として持つ。番号の決め打ちはしない
- 記録の各回の終わりに、フォロワーが休みの姿勢の近く(関節ごとの許容の幅は休みの姿勢の記録から決める)に戻るまで力を抜かない。戻っていなければウィンドウに大きな字で「リーダーで休みの姿勢へ」と出して待つ。休みの姿勢の値は、依頼258 のデータ(テレオペを始める前のフォロワーの姿勢)から作り、ファイルにして置く
- 露出・ホワイトバランスの固定
- Mac で UVC カメラの露出・ホワイトバランス・ゲインを読み書きできる道具を探して入れる(uvc-util など。入れたものと版を報告に書く)
- 2台のカメラで、今の自動の値を読む。その値の近くで手動に固定し、10秒撮って明るさ(画面の平均の明るさ)の揺れが自動のときより小さいかを比べる
- 固定に使った値は、カメラごとに設定ファイルにして `so101/` に置き、ラッパーが記録の前に必ず当てる。カメラを抜き差しすると設定が戻るかも確かめて書く
- 固定できない場合(道具が動かない・カメラが対応していない)は、そこで止めて報告する
- テスト:アームにつながずに確かめられる所(A を通る順番・B の値の受け渡し・休みの姿勢の判定・設定ファイルの読み込み)を、偽のモーターでテストする
## 外部レビュー
- 実装のあと、codex にレビューを頼む(テンプレートは `code_review_request_template.md` の形。物理的リスクのある変更として、力を入れる順番・飛びが残る道・B が効かない道を重点に)
- 指摘のうち必須のものは直し、推奨・据え置きは報告に分けて書く
## 絶対にしないこと
- フォロワーに力を入れる・動かすこと(サーボを読むのは可)
- EEPROM・ID・上限値の書き換え、キャリブレーションのやり直し
- `~/lerobot` のコードの書き換え
- KIOXIA に新しいフォルダを作ること、Hugging Face への送信
- `git add .`・`git clean`
## 報告に書くこと
- A を差し込んだ場所と、それで飛びが止まる理由。止まらない道が残っていればそれも
- B の値と、依頼258 のデータでの確かめ(関節ごとの1コマあたりの最大の動き)
- 露出の固定に使った道具と値、固定前後の明るさの揺れの比べ
- テストの結果、codex の指摘と直したもの
- 次の実機の確かめ(確認待ちで出す依頼)でやるべき手順の案:わざと目標を残した状態で再生しても飛ばないか、など
- 変えたファイル(個別に add・commit)
- 最後の1行に「判定:合格/止めた(決めてほしいことあり)/失敗」
作業ログ ― この記録の数字を、LeRobot でデータ収集を始める人向けのガイドにした
この記録の実測を、検索から初めて来た人が使えるチェックリストに並べ直し、ガイド「LeRobot の lerobot-record でデータ収集する前に確かめること」として公開しました。記録(LOG)は日付つきの作業の記録で、ガイドは版や数字が変わったら書き直す手順書です。
検索されているのは「データ収集」ではなく、コマンド名と機体名だった
Google 広告のキーワードプランナーで、日本の月の検索回数を調べました。日本語の「LeRobot データ収集」「模倣学習 データ収集」「ロボット カメラ 同期」などは、どれもデータなしでした。人が打っているのは、lerobot record・lerobot dataset・lerobot replay のようなコマンドの名前と、SO-101・SO-ARM101 のような機体の名前でした。そこで、ガイドの主の語を lerobot record にし、題の頭に検索の多い「LeRobot」を置きました。lerobot replay は前の年に検索がなく、出てきたばかりの語です。
検索の上位は、販売元の Seeed の日本語のページ、クラスメソッドの技術ブログ、海外のサイトの機械翻訳などでした。同期については「サポートしている」「タイムスタンプで整列する」と書くだけで、ずれを ms で測った値はありませんでした。測った値・記録の時刻の正体・再生の飛び・動かす速さの上限・データの大きさを、ガイドの柱にしました。
- ねらい:この記録の数字を、LeRobot でお手本を撮り始める人が検索で見つけられる形にする
- 変わったこと:記録の中に散らばっていた数字を、13項目のチェック表と、検索で打たれる問いの形の見出し(「lerobot-replay でアームが飛ぶのはなぜ?」など)に並べ直した
- 見込める効果:
lerobot record・lerobot replayでの検索の表示とクリックが出る見込み。公開から約4週間後に Search Console で確かめる
キーワードと検索結果の下調べ guide_lerobot-data-collection_keywords_20261122.md(全文)
# ガイド「LeRobot の lerobot-record でデータ収集する前に確かめること」の下調べ(2026-11-22)
## キーワードプランナー(日本・月の平均検索回数。studio@adaptdesign.jp のアカウントで 2026-11-22 に取得)
| 語 | 月の平均検索回数 | 前年比 | 競合性 | このガイドでの扱い |
|---|---|---|---|---|
| LeRobot | 1000〜1万 | 0% | 低 | 既存のガイド「LeRobot で SO-101 を動かす始め方」の主。ここでは題の頭に置くだけ |
| SO-101(so 101) | 1000〜1万 | 0% | 中 | 同上 |
| lerobot so 101 | 100〜1000 | 0% | 中 | 同上 |
| SO-ARM101 | 100〜1000 | 0% | 高 | タグ |
| テレオペ | 100〜1000 | 0% | 低 | 本文・タグ |
| 模倣学習 | 100〜1000 | 0% | 低 | 本文・タグ |
| ロボットアーム 自作 | 100〜1000 | 0% | 中 | 使わない(中身が違う) |
| **lerobot record(主)** | 10〜100 | 0% | 低 | 題・冒頭の答え・タグ |
| lerobot dataset(副) | 10〜100 | 0% | 低 | 見出し「LeRobot のデータセットの大きさは?」・タグ |
| lerobot replay(副) | 10〜100 | 前年比 +∞ | 低 | 見出し「lerobot-replay でアームが飛ぶのはなぜ?」・タグ |
| SO-101 カメラ(副) | 10〜100 | 0% | 低 | 見出し「確かめること1:SO-101 のカメラは…」・タグ |
| so arm101 lerobot | 10〜100 | 0% | 高 | タグ |
| ACT 模倣学習 | 10〜100 | 0% | 低 | 使わない(ACT は試していない) |
| テレオペレーション | 10〜100 | 0% | 低 | ― |
| 模倣学習 ロボット | 10〜100 | 0% | 低 | ― |
| 遠隔操作 ロボットアーム | 10〜100 | 0% | 低 | ― |
| フィジカルAI 個人 | 10〜100 | +∞ | 低 | タグ |
| dagger | 1000〜1万 | 0% | 低 | 短剣の意味の検索が中心とみて、主にしない。本文の言葉として使う |
| LeRobot データ収集・LeRobot データセット・LeRobot 使い方・LeRobot カメラ・LeRobot テレオペ・SO-101 データ収集・テレオペ 遅延・模倣学習 データ・模倣学習 データセット・模倣学習 データ収集・模倣学習 やり方・ロボット データ収集・ロボット 学習データ・ロボット カメラ 同期・手首カメラ・ロボットアーム 模倣学習 | データなし | | | ― |
読み取り:日本語の「データ収集」側の語はどれもデータなし。人が打つのはコマンド名(lerobot record・lerobot replay)と機体名(SO-101・SO-ARM101)。主の語をコマンド名の「lerobot record」にし、題の頭に検索の多い「LeRobot」を置く。lerobot replay は前年比 +∞ で、出てきたばかりの語。
## 検索結果の上位(「LeRobot データ収集 SO-101」「SO-ARM101 lerobot-record やってみた」で検索)
| ページ | だれ | 中身 |
|---|---|---|
| wiki.seeedstudio.com/ja/robotics/soarm_physical_ai_course_chapter_12/ | 販売元の Seeed(日本語のコース) | lerobot-record の手順。ループはタイムスタンプで整列する、640×480 MJPG 30fps が安全、と説明 |
| wiki.seeedstudio.com/ja/robotics/hands_on_camera_recording/ | Seeed | カメラの番号は再接続で変わる。毎回 lerobot-find-cameras で確かめる |
| wiki.seeedstudio.com/ja/robotics/hands_on_task_design/ | Seeed | エピソード・開始と終了の条件・固定した初期姿勢 |
| roboticscenter.ai/ja/hardware/so-101/data-collection | 海外のサイトの機械翻訳 | 録画のつなぎ方。LeRobot はマルチカメラ同期をサポート、と書く |
| zenn.dev(karaage0703) | 個人 | SO-101 のテレオペから学習データ取得まで(Jetson) |
| dev.classmethod.jp(アヒルを掴む・ACT で模倣学習) | クラスメソッドの技術ブログ | 640×480・15fps、30〜50 エピソード、ACT の学習と成功率 |
| nvidia.github.io/IsaacCapture(Data Collection in Real) | NVIDIA(英語) | SO-101 の記録のスクリプト |
## 上位にないこと(ガイドの柱にする)
- 手首カメラ・机側カメラ・関節のずれを ms で測った値(手首カメラと関節は1コマ以内)。上位は「同期をサポート」「タイムスタンプで整列」と書くだけで、測った値がない
- timestamp が「コマの番号 ÷ 30」で、撮影時刻が残らないこと。コマ落ち(30秒で 4〜13 コマ)が記録から見えないこと
- 速く動かしたときのフォロワーの遅れ(約0.1秒)と、映像がぶれ始める速さ(150°/s)
- lerobot-replay の始めに 35〜42° 飛んだことと、その対策(目標の角度の書き直し・max_relative_target)
- 記録を腕を上げたまま終えるとフォロワーが落ちること
- データの大きさ(1秒 0.227MB、30秒×1000回で 6.8GB)
- DAgger(lerobot-rollout)で人が割り込める作り
## 重なりの確認
- 「LeRobot で SO-101 を動かす始め方」(lerobot-so101-getting-started):テレオペまで。このガイドはその次の段(お手本を撮る前)。互いにリンクする
- 「ロボットアームの模倣学習、お手本は何本・どう集めるか」(robot-arm-demonstration-data):お手本の本数と集め方。このガイドは記録の中身と機体の確かめ。互いにリンクする
- 中身はすべて LOG551(依頼258 の実測)から
サムネイルの絵は、手首カメラの付き方で3回直した
ガイドのサムネイルは、決まりどおり ChatGPT に絵を描かせ、網点の仕上げと題の文字は Claude が入れました。最初の絵は、前の SO-101 のガイドとアームの並びも見る角度もほぼ同じだったので、作業台を真上から見下ろす構図に変えました。
真上からの絵には手首カメラが描かれておらず、足してもらうと、爪の付け根の真ん中に上向きのレンズが付きました。実物の手首カメラは、爪の固定側の付け根から L 字の台が立ち上がり、爪の上に張り出した四角い枠にはまっています。実物の写真を見せて直すと、今度はレンズが爪の付け根の方を向きました。手首カメラは爪の先とつかむ物を見るための物なので、レンズが爪の先を向くように、もう一度直しました。

もう1つつまずいたのは、網点の仕上げでした。白いフォロワーと白っぽい天板が同じ明るさの紙の白になり、アームが影だけになりました。天板を灰色で描き直してもらうとアームは浮きましたが、そのままでは題の下まで網点で埋まります。網点にする前に、灰色の天板だけを明るく寄せる手順を足し、白いアームが輪郭ごと残るようにしました。

天板を明るく寄せる関数 lighten_table(tools/guide_thumbs/make.py の一部)
def lighten_table(src):
"""灰色の天板(白いアームを浮かせるため ChatGPT に灰色で描かせた)を明るく寄せ、題の下の網点を薄くする。
白いアーム(>175)・黒(<60)・赤は変えない。2026-11-22 lerobot_record で使った"""
import cv2
a=np.asarray(Image.open(src).convert("RGB")).astype(float); v=a.mean(2)
sat=cv2.cvtColor(a.astype(np.uint8),cv2.COLOR_RGB2HSV)[...,1]/255
m=(sat<0.25)&(v>=60)&(v<=175)
k=np.where(m,np.interp(v,[60,125,175],[120,200,215])/np.maximum(v,1),1.0)
out=src.replace(".png","_light.png"); Image.fromarray(np.clip(a*k[...,None],0,255).astype(np.uint8)).save(out); return out
このガイドのサムネイルを書き出す1行(tools/guide_thumbs/make.py)
"lerobot_record": lambda: card(lighten_table("g/gd_lerobot_record.png"),"gd_lerobot_record.jpg",["データ収集の","前に確かめる"],"LeRobot・SO-101 で測った",accent="red",tx=1810,ty=110,align="r",ts=96,ss=38,gamma=1.0),
作業ログ ― 依頼258 の報告・コード・データ(全量)
ここから下は、依頼258 で Claude Code が書いた報告、測ったスクリプト、出力のデータです。データ・画像・動画は git に入れず、Mac の /Users/shimazueiichi/r2r2r-scripts/so101/check_258/ に置いています(KIOXIA と Hugging Face には何も作っていない)。
依頼258 の報告(全文)
# 結果:20261122_258_SO101でMacとカメラとアームから取れるデータを全部確かめる
- 状態:完了
- 始めた時刻:2026-11-22 17:00
- 終わった時刻:2026-11-22 17:54(54分)
- 作業フォルダ:/Users/shimazueiichi/r2r2r-scripts
- この続きを Claude Code で話すとき:作業フォルダで `claude --resume 629cc0d1-6706-4407-9693-4151d50f1ae7`
依頼258 の報告の本体 REPORT.md(全文)
# 依頼258 SO-101 で取れるデータの実測 報告(2026-11-22 17:07〜17:51)
数字の元は `so101/check_258/analysis.json`・`calibration_check.json`。
## 0. つながり
| 項目 | 結果 |
|---|---|
| フォロワー 5CBC4321631 | STS3215 ×6(11.8〜11.9V) |Claude Code の作業の記録 logs/20261122_1753.md(全量)
# 依頼258 SO-101 で取れるデータの実測
- 計測: so101/check_258.py(s0〜s6 すべて ok, 17:07〜17:51)
- 解析: so101/check_258_analyze.py → so101/check_258/analysis.json
- 報告の本体: so101/check_258/REPORT.md
- コミット: 4d79b10 (check_258.py / check_258_analyze.py / replay_logged_258.py / verify_calibration_258.py)
- データ・画像・動画は git に入れていない。KIOXIA・Hugging Face には触れていない
測るスクリプト check_258.py(全文)
"""SO-101 で Mac・カメラ2台・アームから取れるデータを実測する (依頼 258). 記録だけ. 解析は check_258_analyze.py.
エイイチへの指示はすべてこのウィンドウに大きな字で出す. 各段階はスペースで始め, q でいつでも止める.
段階:
s0 つながり (2枚の基板・サーボ12個・カメラ2台・iPhone) 動かさない
s1 机側カメラのピント (desk_cam_focus_257.py を起動) 動かさない
s2 読み取りの速さ (関節・カメラ・同時) 動かさない (読むだけのポート)集計するスクリプト check_258_analyze.py(全文)
"""check_258.py が so101/check_258/ に残した記録を解析する (依頼 258). アーム・カメラにはつながない.
出力: so101/check_258/analysis.json と, 画面に表のもとになる数字.
使い方 (conda の lerobot 環境で):
python so101/check_258_analyze.py
"""
再生を記録するスクリプト replay_logged_258.py(全文)
"""lerobot-replay をそのまま動かし, フォロワーに届いた角度と送った指令を CSV に残す (依頼 258).
lerobot-replay は毎コマ get_observation() を呼ぶが結果を捨てる. ここでは SOFollower の
get_observation と send_action を包んで, 呼ばれた時刻と値を書くだけにする (指令の中身は変えない).
使い方 (conda の lerobot 環境で):
python so101/replay_logged_258.py OUT.csv --robot.type=so101_follower --robot.port=... --robot.id=... \
--dataset.repo_id=... --dataset.root=... --dataset.episode=0 --play_sounds=false
"""
import csv
import sys
import time
from lerobot.robots.so_follower import so_follower as sf
from lerobot.scripts import lerobot_replay
MOTORS = ["shoulder_pan", "shoulder_lift", "elbow_flex", "wrist_flex", "wrist_roll", "gripper"]
def main():
out = sys.argv.pop(1)
rows = []
state = {"n": 0}
orig_obs, orig_send = sf.SOFollower.get_observation, sf.SOFollower.send_action
def get_observation(self):
obs = orig_obs(self)
rows.append(["obs", state["n"], time.perf_counter()] + [obs[f"{m}.pos"] for m in MOTORS])
return obs
def send_action(self, action):
sent = orig_send(self, action)
rows.append(["sent", state["n"], time.perf_counter()] + [float(sent[f"{m}.pos"]) for m in MOTORS])
state["n"] += 1
return sent
sf.SOFollower.get_observation = get_observation
sf.SOFollower.send_action = send_action
try:
lerobot_replay.main()
finally:
with open(out, "w", newline="") as fh:
wr = csv.writer(fh)
wr.writerow(["kind", "frame", "t"] + MOTORS)
wr.writerows(rows)
print(f"[REPLAY-LOG] {out} に {len(rows)} 行")
if __name__ == "__main__":
main()
キャリブレーションを確かめるスクリプト verify_calibration_258.py(全文)
"""SO-101 のキャリブレーションのファイルと, サーボの中の値・角度の変換を読むだけで突き合わせる (依頼 258).
書き込みは一切しない (connect(handshake=False), disconnect(disable_torque=False)).
- サーボの Homing_Offset・Min/Max_Position_Limit を読み, ファイルの homing_offset・range_min/max と比べる
- 生の Present_Position と LeRobot の正規化した値を続けて読み, 式 (raw − (min+max)/2) × 360 / 4095 と合うか
- 分解能 (1目盛の角度)
使い方 (conda の lerobot 環境で):
python so101/verify_calibration_258.py
"""
import json
import sys
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parent))
from check_258 import (CAL_FOLLOWER, CAL_LEADER, FOLLOWER_PORT, LEADER_PORT, MOTORS, OUT, # noqa: E402
close_ro, open_ro_bus)
def check(port, cal_path):
cal = json.loads(Path(cal_path).read_text())
bus = open_ro_bus(port, cal_path)
try:
res_ = bus.resolution("sts3215")
regs = {}
for reg in ["Homing_Offset", "Min_Position_Limit", "Max_Position_Limit"]:
try:
regs[reg] = bus.sync_read(reg, normalize=False, num_retry=2)
except Exception as e:
regs[reg] = f"ERR {e}"
raw = bus.sync_read("Present_Position", normalize=False, num_retry=2)
norm = bus.sync_read("Present_Position", num_retry=2)
raw2 = bus.sync_read("Present_Position", normalize=False, num_retry=2)
finally:
close_ro(bus)
rows = {}
for m in MOTORS:
c = cal[m]
mn, mx = c["range_min"], c["range_max"]
r = (raw[m] + raw2[m]) / 2
if m == "gripper":
expect = (min(mx, max(mn, r)) - mn) / (mx - mn) * 100
else:
expect = (r - (mn + mx) / 2) * 360 / (res_ - 1)
hw = {k: (v[m] if isinstance(v, dict) else v) for k, v in regs.items()}
rows[m] = {"file": c, "servo": hw,
"homing_match": hw.get("Homing_Offset") == c["homing_offset"],
"limits_match": hw.get("Min_Position_Limit") == mn and hw.get("Max_Position_Limit") == mx,
"raw": [raw[m], raw2[m]], "lerobot_value": round(norm[m], 3), "formula_value": round(expect, 3),
"diff": round(norm[m] - expect, 3),
"unit": "0-100" if m == "gripper" else "deg",
"step": round(100 / (mx - mn), 4) if m == "gripper" else round(360 / (res_ - 1), 4),
"range_deg" if m != "gripper" else "range_raw": round((mx - mn) * 360 / (res_ - 1), 1) if m != "gripper" else mx - mn}
return {"resolution": res_, "motors": rows}
def main():
out = {"follower": check(FOLLOWER_PORT, CAL_FOLLOWER), "leader": check(LEADER_PORT, CAL_LEADER)}
(OUT / "calibration_check.json").write_text(json.dumps(out, ensure_ascii=False, indent=2))
print(json.dumps(out, ensure_ascii=False, indent=1))
if __name__ == "__main__":
main()
集計の結果 analysis.json(全量)
{
"s1": {
"saved": [
{
"image": "desk_20261122_171646.png",
"focus": {
"center": 1.4,
"top_left": 6.3,キャリブレーションの確かめの結果 calibration_check.json(全量)
{
"follower": {
"resolution": 4096,
"motors": {
"shoulder_pan": {
"file": {
"id": 1,
"drive_mode": 0,段階0 つながり s0.json(全量)
{
"servo_counts": {
"/dev/tty.usbmodem5CBC4321631": 6,
"/dev/tty.usbmodem5CBC4323581": 6
},
"read_servos_stdout": "\n== /dev/tty.usbmodem5CBC4321631\n サーボ 6 個, 電圧の平均 11.9 V\n ID 型番 FW 位置 電圧V 温度C トルク Lock\n 1 777 3.10 1952 11.8 22 0 1\n 2 777 3.10 1047 11.8 22 0 1\n 3 777 3.10 3031 11.8 21 0 1\n 4 777 3.10 2284 11.9 22 0 1\n 5 777 3.10 2066 11.9 22 0 1\n 6 777 3.10 2061 11.9 24 0 1\n\n== /dev/tty.usbmodem5CBC4323581\n サーボ 6 個, 電圧の平均 4.9 V\n ID 型番 FW 位置 電圧V 温度C トルク Lock\n 1 777 3.10 1962 4.9 19 0 1\n 2 777 3.10 822 4.9 18 0 1\n 3 777 3.10 3111 4.9 19 0 1\n 4 777 3.10 2686 4.9 18 0 1\n 5 777 3.10 2101 4.9 18 0 1\n 6 777 3.10 2005 4.9 17 0 1\n",
"cameras": {
"ffmpeg": [
[
0,
"Iriun Camera"
],
[
1,
"FaceTime HDカメラ"
],
[
2,
"Innomaker-U20CAM-720P"
],
[
3,
"USB HD Camera"
],
[
4,
"Capture screen 0"
]
],
"opencv": [
[
0,
"Innomaker-U20CAM-720P "
],
[
1,
"USB HD Camera"
],
[
2,
"FaceTime HDカメラ"
],
[
3,
"Iriun Camera"
]
],
"index": {
"wrist": 1,
"desk": 0
},
"iriun": true
}
}
段階0 サーボの読み取り s0_servos.json(全量)
{
"/dev/tty.usbmodem5CBC4321631": [
{
"id": 1,
"model_number_scan": 777,
"Model_Number": 777,
"Firmware_Major_Version": 3,
"Firmware_Minor_Version": 10,段階1 ピント合わせの前の1枚 desk_20261122_171646.json
{
"image": "desk_20261122_171646.png",
"opencv_index": 0,
"shape": [
720,
1280,
3
],
"focus": {
"center": 1.351562311619888,
"top_left": 6.271048651801215,
"top_right": 4.439381104192616,
"bottom_left": 5.7525487358187455,
"bottom_right": 5.927598705262314
},
"center_max_so_far": 1.5881074946603657
}
段階1 ピント合わせの最後の1枚 desk_20261122_172528.json
{
"image": "desk_20261122_172528.png",
"opencv_index": 0,
"shape": [
720,
1280,
3
],
"focus": {
"center": 1330.426684247123,
"top_left": 57.76244878106647,
"top_right": 2.197617265177362,
"bottom_left": 22.96727767917845,
"bottom_right": 7.701762481236163
},
"center_max_so_far": 1575.324957529704
}
段階1 依頼248 の画像のピントの数値 ref_248_score.txt
/Users/shimazueiichi/r2r2r-scripts/so101/check_248/desk_opencv1.png 1280x720 center=2.6 top_left=13.0 top_right=3.5 bottom_left=16.9 bottom_right=13.6
段階3・4 テレオペの区切りの時刻 phases.json(全量)
{
"phases": [
[
91214.028653041,
"free"
],
[
91268.143170416,
"grip_pre"
],
[
91271.186670041,
"grip_1"
],
[
91273.253262958,
"grip_1_rest"
],
[
91276.292229083,
"grip_2"
],
[
91278.375624333,
"grip_2_rest"
],
[
91281.432314333,
"grip_3"
],
[
91283.509261833,
"grip_3_rest"
],
[
91286.553356666,
"grip_4"
],
[
91288.621229791,
"grip_4_rest"
],
[
91291.680964041,
"grip_5"
],
[
91293.763979333,
"grip_5_rest"
],
[
91296.803042291,
"slow_pre"
],
[
91314.733419583,
"slow"
],
[
91329.736349375,
"normal_pre"
],
[
91354.961105083,
"normal"
],
[
91369.980725333,
"fast_pre"
],
[
91374.222217333,
"fast"
],
[
91389.287027791,
"rest"
]
],
"error": null
}
段階5 lerobot-record に渡したコマンド s5_cmd.json
[
"/opt/homebrew/Caskroom/miniforge/base/envs/lerobot/bin/python",
"-m",
"lerobot.scripts.lerobot_record",
"--robot.type=so101_follower",
"--robot.port=/dev/tty.usbmodem5CBC4321631",
"--robot.id=ptm_follower",
"--robot.cameras={ wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30, fourcc: MJPG}, desk: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30, fourcc: MJPG} }",
"--teleop.type=so101_leader",
"--teleop.port=/dev/tty.usbmodem5CBC4323581",
"--teleop.id=ptm_leader",
"--dataset.repo_id=local/check_258",
"--dataset.root=/Users/shimazueiichi/r2r2r-scripts/so101/check_258/dataset",
"--dataset.no_stamp=true",
"--dataset.push_to_hub=false",
"--dataset.fps=30",
"--dataset.single_task=check 258 practice",
"--dataset.num_episodes=3",
"--dataset.episode_time_s=10",
"--dataset.reset_time_s=10",
"--display_data=false",
"--play_sounds=false"
]
段階5 lerobot-record の出力 s5_record.log(全量)
W1122 17:46:10.678000 81452 site-packages/torch/distributed/elastic/multiprocessing/redirects.py:35] NOTE: Redirects are currently not supported in MacOs.
objc[81452]: Class AVFFrameReceiver is implemented in both /opt/homebrew/Caskroom/miniforge/base/envs/lerobot/lib/python3.12/site-packages/cv2/.dylibs/libavdevice.61.3.100.dylib (0x105da43a8) and /opt/homebrew/Caskroom/miniforge/base/envs/lerobot/lib/python3.12/site-packages/av/.dylibs/libavdevice.61.3.100.dylib (0x130d803a8). This may cause spurious casting failures and mysterious crashes. One of the duplicates must be removed or renamed.
objc[81452]: Class AVFAudioReceiver is implemented in both /opt/homebrew/Caskroom/miniforge/base/envs/lerobot/lib/python3.12/site-packages/cv2/.dylibs/libavdevice.61.3.100.dylib (0x105da43f8) and /opt/homebrew/Caskroom/miniforge/base/envs/lerobot/lib/python3.12/site-packages/av/.dylibs/libavdevice.61.3.100.dylib (0x130d803f8). This may cause spurious casting failures and mysterious crashes. One of the duplicates must be removed or renamed.
INFO 2026-11-22 17:46:14 t_record.py:401 {'dataset': {'depth_encoder': {'crf': 30,
'depth_max': 10.0,
'depth_min': 0.01,
'extra_options': {'x265-params': 'lossless=1'},
'fast_decode': 0,段階5 記録の形 dataset/meta/info.json(全量)
{
"codebase_version": "v3.0",
"fps": 30,
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",段階6 再生1の出力 s6_replay1.log(全量)
objc[82531]: Class AVFFrameReceiver is implemented in both /opt/homebrew/Caskroom/miniforge/base/envs/lerobot/lib/python3.12/site-packages/av/.dylibs/libavdevice.61.3.100.dylib (0x1298983a8) and /opt/homebrew/Caskroom/miniforge/base/envs/lerobot/lib/python3.12/site-packages/cv2/.dylibs/libavdevice.61.3.100.dylib (0x13b4e03a8). This may cause spurious casting failures and mysterious crashes. One of the duplicates must be removed or renamed.
objc[82531]: Class AVFAudioReceiver is implemented in both /opt/homebrew/Caskroom/miniforge/base/envs/lerobot/lib/python3.12/site-packages/av/.dylibs/libavdevice.61.3.100.dylib (0x1298983f8) and /opt/homebrew/Caskroom/miniforge/base/envs/lerobot/lib/python3.12/site-packages/cv2/.dylibs/libavdevice.61.3.100.dylib (0x13b4e03f8). This may cause spurious casting failures and mysterious crashes. One of the duplicates must be removed or renamed.
INFO 2026-11-22 17:49:15 t_replay.py:108 {'dataset': {'episode': 0,
'fps': 30,
'repo_id': 'local/check_258',
'root': '/Users/shimazueiichi/r2r2r-scripts/so101/check_258/dataset'},
'play_sounds': False,
'robot': {'calibration_dir': None,段階6 再生2の出力 s6_replay2.log(全量)
objc[83018]: Class AVFFrameReceiver is implemented in both /opt/homebrew/Caskroom/miniforge/base/envs/lerobot/lib/python3.12/site-packages/av/.dylibs/libavdevice.61.3.100.dylib (0x1223ec3a8) and /opt/homebrew/Caskroom/miniforge/base/envs/lerobot/lib/python3.12/site-packages/cv2/.dylibs/libavdevice.61.3.100.dylib (0x136d083a8). This may cause spurious casting failures and mysterious crashes. One of the duplicates must be removed or renamed.
objc[83018]: Class AVFAudioReceiver is implemented in both /opt/homebrew/Caskroom/miniforge/base/envs/lerobot/lib/python3.12/site-packages/av/.dylibs/libavdevice.61.3.100.dylib (0x1223ec3f8) and /opt/homebrew/Caskroom/miniforge/base/envs/lerobot/lib/python3.12/site-packages/cv2/.dylibs/libavdevice.61.3.100.dylib (0x136d083f8). This may cause spurious casting failures and mysterious crashes. One of the duplicates must be removed or renamed.
INFO 2026-11-22 17:50:49 t_replay.py:108 {'dataset': {'episode': 0,
'fps': 30,
'repo_id': 'local/check_258',
'root': '/Users/shimazueiichi/r2r2r-scripts/so101/check_258/dataset'},
'play_sounds': False,
'robot': {'calibration_dir': None,段階ごとの完了の記録 run_log.jsonl
{"time": "2026-11-22T17:51:05.104060", "todo": ["s0", "s1", "s2", "s34", "s5", "s6"], "done": ["s0", "s1", "s2", "s34", "s5", "s6"], "status": "ok"}
1コマごとの生のデータの置き場所
1コマごとの CSV(合わせて約5MB)は、記事には入れず、Mac の同じフォルダに置いています。上の analysis.json は、これらから check_258_analyze.py で集計したものです。
| ファイル | 大きさ | 行数 | 列 |
|---|---|---|---|
s2/a_joints.csv | 66330 バイト | 900 | t0,follower_ms,leader_ms,err,total_ms |
s2/b_joints_extras.csv | 289232 バイト | 450 | t0,follower_ms,leader_ms,err,Present_Current,Present_Current_ms,Present_Load,Present_Load_ms,…(全 13 列) |
s2/c_cam_1280x720_desk.csv | 60293 バイト | 905 | t,pos_msec,blur_center,mean,w,h |
s2/c_cam_1280x720_wrist.csv | 60778 バイト | 915 | t,pos_msec,blur_center,mean,w,h |
s2/d_cam_640x480_desk.csv | 59282 バイト | 905 | t,pos_msec,blur_center,mean,w,h |
s2/d_cam_640x480_wrist.csv | 60650 バイト | 927 | t,pos_msec,blur_center,mean,w,h |
s2/e_cam_desk.csv | 61293 バイト | 935 | t,pos_msec,blur_center,mean,w,h |
s2/e_cam_wrist.csv | 62594 バイト | 957 | t,pos_msec,blur_center,mean,w,h |
s2/e_joints.csv | 578398 バイト | 900 | t0,follower_ms,leader_ms,err,Present_Current,Present_Current_ms,Present_Load,Present_Load_ms,…(全 13 列) |
s34/cam_desk.csv | 368704 バイト | 5661 | t,pos_msec,blur_center,mean,w,h |
s34/cam_wrist.csv | 368209 バイト | 5659 | t,pos_msec,blur_center,mean,w,h |
s34/teleop.csv | 2655403 バイト | 5607 | t0,t_act,t_sent,t_pos,t_extra,phase,act_shoulder_pan,sent_shoulder_pan,…(全 48 列) |
s6_replay1.csv | 81238 バイト | 600 | kind,frame,t,shoulder_pan,shoulder_lift,elbow_flex,wrist_flex,wrist_roll,gripper |
s6_replay2.csv | 81453 バイト | 600 | kind,frame,t,shoulder_pan,shoulder_lift,elbow_flex,wrist_flex,wrist_roll,gripper |
動画は s34/wrist.mp4(28,518,372 バイト)と s34/desk.mp4(27,793,407 バイト)、記録の動画 dataset/videos/ の2本です。手首カメラの動画には、速く動かしたときに人が写っているので、記事には机側カメラの映像だけを使いました。