LeRobot の lerobot-record でデータ収集する前に確かめること ― SO-101 で測ったカメラ同期・速さ・replay の飛び
LeRobot の lerobot-record で SO-101 のお手本(模倣学習のデータ)を集める前に、関節・カメラ・記録の形を実測すると、関節の角度は正確で、手首カメラと関節のずれも1コマ(33ms)以内に収まっていた。ただし、LeRobot の記録に付く時刻はカメラが撮った時刻ではなく、記録した動きを再生した瞬間にアームが 35〜42° 飛ぶことがあった。 M1 の Mac・LeRobot 0.7.1・組み立て済みの SO-101 Pro で、測定は44分でした(LOG551)。
お手本を何百本も撮ってから、カメラのずれやアームの飛びに気づくと、撮り直しになります。LeRobot の lerobot-record は、つないで動かせばお手本が撮れてしまうので、何が記録されていて何が記録されていないかは、自分で測らないと分かりません。
このページは、SO-101 を Mac で動かして測った記録から、データ収集を始める前に確かめることを並べ直したチェックリストです。LeRobot の版や数字が変わったら、このページを書き直します。機体を動かすまでの手順は「LeRobot で SO-101 を動かす始め方」にあります。
このページで分かること。
- LeRobot の記録(データセット)に入る物と、入らない物
- 手首カメラ・机側カメラ・関節が、どれだけずれて記録されるか
- SO-101 をどこまで速く動かしてよいか(映像のぶれとフォロワーの遅れ)
lerobot-replayで記録を再生したときにアームが飛ぶ理由と、その対策- 推論の途中で人が割り込んで直す仕組み(DAgger)が、今の LeRobot にあるか
LeRobot のデータ収集で記録される物:action・state・動画・timestamp
LeRobot は、Hugging Face が配っている、ロボットのお手本の記録・学習・推論の道具です。lerobot-record でテレオペ(人が黒いリーダーアームを手で動かし、白いフォロワーアームが同じ角度で動く状態)をしながら、1秒に30回、次の物を記録します。
| 言葉 | 中身 |
|---|---|
| エピソード | お手本1回分。始めから終わりまでの続いた記録 |
| action | リーダーの6つの角度(人が動かした角度)。学習後はモデルが出す次の角度 |
observation.state | フォロワーの6つの角度(アームの今の角度) |
observation.images.{名前} | カメラごとの動画(av1・mp4) |
| timestamp | 各コマに付く時刻 |
max_relative_target | フォロワーが1コマに動ける角度の上限。既定は「上限なし」 |
| DAgger | 推論の途中で人が割り込んで直し、直した区間をお手本に足すやり方 |
640x480・30fps・カメラ2台で、10秒×3回を記録したときの中身は次のとおりでした(LOG551)。
| 名前 | 型 | 形 |
|---|---|---|
| action | float32 | [6](shoulder_pan・shoulder_lift・elbow_flex・wrist_flex・wrist_roll・gripper) |
observation.state | float32 | [6](同じ6つ) |
observation.images.wrist・desk | video | [480, 640, 3]・av1・30fps |
| timestamp | float32 | [1] |
frame_index・episode_index・index・task_index | int64 | [1] |
カメラの露出や、実際にコマが届いた時刻、サーボの電流は、記録に入りません。
測った環境と、記録にない物
| 項目 | 記録にある値 | 出どころ |
|---|---|---|
| アーム | Seeed SO-ARM101 Assembled Kit Pro(組み立て済み)。サーボは STS3215 | LOG544 |
| パソコン | MacBook Pro(M1)・macOS | LOG544 |
| LeRobot | 0.7.1 | LOG551 |
| 手首カメラ | キット付属の HBVCAM の USB カメラ | LOG551 |
| 机側カメラ | InnoMaker U20CAM-720P(120°)。机の上から固定 | LOG551 |
| 記録の設定 | 640x480・MJPG・30fps、10秒×3回 | LOG551 |
| 露出・ホワイトバランスの値 | ログにない(Mac の OpenCV では 0 が返り、読めなかった) | ― |
Windows・Linux での値 | ログにない | ― |
確かめること1:SO-101 のカメラは名前で開き、ピントを数値で合わせる
カメラの番号(OpenCV の 0・1・2…)は、つなぎ直すと入れ替わります。記録では、届いた日は手首が0番・机側が1番でしたが、次の日は手首が1番・机側が0番でした。Mac の近くの iPhone が連係カメラとしてつながると、さらにずれます。番号を決め打ちにせず、カメラの名前で探して開きます。この Mac では、ffmpeg と OpenCV でカメラの番号の並びも違っていました(LOG551)。
机側カメラは、ピントを数値で合わせます。画像の中の明るさの変わり目の鋭さ(ラプラシアンの分散)を画面に出しながらレンズを回し、中央の値がいちばん大きい所で止めます。記録では、合わせる前の 2.6 が、合わせたあと 1286〜1330 になりました。数値は同じ物を写しているときにしか比べられないので、線を引いた紙など、模様のある物を真ん中に置いて合わせます。

120° の広角レンズは、画面の端が丸く曲がって写ります。学習に使うだけなら、いつも同じ曲がり方なので問題になりません。映像から長さを測るときだけ、チェッカーボードを撮って補正します。
確かめること2:SO-101 の関節とカメラは 30Hz に間に合うか
動かさずに、関節とカメラを30秒ずつ読みました(LOG551)。
| 測った物 | 結果 |
|---|---|
関節(フォロワーとリーダーの位置) | 1回 2.3ms(95% で 3.9ms・最大 8.1ms)。900回中、33ms を超えた回は 0 |
| 電流・負荷・温度・電圧を足す | 1つにつき約 1ms 増える |
カメラ2台(1280x720・640x480) | どちらも約 30fps。コマの間隔は 95% で 35〜36ms |
| 落ちたコマ | 30秒で 4〜13 コマ |
| カメラ2台と関節を同時に | 手首カメラに 150ms の穴が1回、関節の1回が 33ms を超えたのが2回 |
関節を読む速さは十分です。気をつけるのはカメラのコマ落ちで、1% 前後ありました。
LeRobot のカメラと関節は同期している?:手首カメラは1コマ以内
LeRobot は2台のカメラを同時に撮っているわけではありません。決まった間隔ごとに、各カメラの「その時点の最新のコマ」を取り込みます。そのため「同期しているか」ではなく、「何 ms ずれるか」を測ります。
測り方は、テレオペ中にリーダーの爪をすばやく閉じる・開くことです。爪は手首カメラにも机側カメラにも写り、関節の値にも出るので、同じ出来事がそれぞれの流れのどこに出るかで、ずれが分かります。
| 回 | フォロワーの爪(関節) | 手首カメラ | 机側カメラ |
|---|---|---|---|
| 3 | +102ms | +111ms | +124ms |
| 4 | +102ms | +92ms | +43ms |
| 5 | +100ms | +74ms | −44ms |
(リーダーの爪が動き始めた時刻を 0 にした。1回目と2回目は合図どおりに動いていなかったので外した)
手首カメラと関節の差は +9 / −10 / −26ms で、1コマ(33ms)以内でした。 机側カメラは、画面の中の爪が小さくて動き始めが決められず、使える値になりませんでした。机側カメラで測るときは、大きく写る物の動きで測ります(LOG551)。
LeRobot の timestamp は撮影時刻ではない
記録の timestamp は、3回とも「コマの番号 ÷ 30」と完全に一致し、間隔は 33.33ms で揺れが 0 でした。カメラの実際の撮影時刻や届いた時刻は、どこにも保存されません。カメラのコマが落ちると、前のコマがそのまま入り、時刻は等間隔のままです。
つまり、上で測ったずれ・コマの揺れ・コマ落ちは、記録を見ても分かりません。コマ落ちが多い回を後から外したいなら、記録とは別に、コマが届いた時刻を数えておく必要があります(LOG551)。
SO-101 はどこまで速く動かしていい?:150°/s まで
テレオペで、ゆっくり・ふつう・速くの3段を15秒ずつ動かしました。
| 関節 | 速く動かしたときの速さ | リーダーとの差の最大 | 電流の最大 |
|---|---|---|---|
shoulder_pan(根元の回転) | 203°/s | 33.1° | 260mA |
shoulder_lift(肩) | 147°/s | 24.8° | 559mA |
| elbow_flex(ひじ) | 170°/s | 24.0° | 130mA |
wrist_flex(手首の曲げ) | 183°/s | 26.7° | 214mA |
wrist_roll(手首の回転) | 60°/s | 8.7° | 39mA |
- フォロワーは、リーダーより 100〜130ms 遅れてついてきます(爪だけ 170ms)。差はほぼ「速さ × 0.1秒」で、サーボの速さが頭打ちになったわけではありません
- 温度の上がりは、全体で 1〜2℃ でした
- 手首カメラの映像は、関節が 150°/s を超えると、止まっているときよりピントの数値が約15% 下がりました。 お手本は 150°/s より遅く動かして撮ります
記録の中の action(リーダー)と observation.state(フォロワー)にも、この遅れの分の差(最大 7.5〜14.7°)が入っていました(LOG551)。
関節の値は正確?:再生しても差は最大 1.05°
STS3215 は1回転を 4096 目盛で読むので、1目盛は 0.0879° です。記録した1回を lerobot-replay で2回再生すると、再生の始め 0.5 秒を除いて、記録との差は最大 0.62°、2回の再生どうしの差は最大 1.05° でした。キャリブレーションの値は12個ともサーボの中とファイルで一致し、角度への直し方も LeRobot の値と差 0.000 でした。
角度の 0° は「キャリブレーションで動かした範囲の真ん中」で、水平などの物理的な基準ではありません。キャリブレーションをやり直すと、同じ数字が違う姿勢を指すことになるので、校正のファイルはデータと組で残します。
爪の値は 1 で閉じ、98 で全開でした。手首カメラに写る爪の開きと、向きも大きさも合っていました(LOG551)。

lerobot-replay でアームが飛ぶのはなぜ?
再生の前に、フォロワーを記録の最初の姿勢に合わせ、差が 10° 以内なのを確かめてから再生しました。それでも1回目の再生では、最初のコマで肩が −103° → −68.5°、ひじが 91° → 49.8° と、35〜42° 動いていました。動いた向きは、記録の最後(腕を上げた姿勢)と同じです。
サーボの中には「目標の角度(Goal_Position)」が残っています。前の記録の終わりの目標が残ったまま、再生でサーボに力(トルク)が入ると、新しい指令より先にそこへ動いたとみています。2回目の再生では起きておらず、原因はまだ確定していません(LOG551)。
対策として、次の2つを入れることにしました。
| 対策 | 中身 |
|---|---|
| A | 力を入れる前に、各サーボの目標の角度を今の角度に書き直す |
| B | max_relative_target を、1コマ 10° 前後にする。速く動かしたときでも1コマの動きは 7° 程度なので、ふだんの操作は止めない |
LeRobot の既定では max_relative_target は「上限なし」で、lerobot-record と lerobot-replay も上限なしで動いていました。テレオペを始めるときも、LeRobot は1コマ目からリーダーの角度をそのまま送るので、リーダーとフォロワーの姿勢が違うとフォロワーが一気に動きます。始める前に、姿勢をそろえます。
記録の終わりは休みの姿勢で
記録の3回は、どれも腕を上げた姿勢で終わっていました。記録の終わりにはサーボの力が抜けるので、腕を上げたまま終えるとフォロワーが落ちます。お手本は、腕を机の上の休みの姿勢に戻してから終えます(LOG551)。
LeRobot のデータセットの大きさは?:1秒 0.23MB
640x480・30fps・カメラ2台で、1秒あたり 0.227MB でした(手首の動画が 3.85MB、机側が 2.84MB、関節の表が 0.035MB で、30秒分)。
| 1回の長さ | 1回 | 100回 | 1000回 |
|---|---|---|---|
| 10秒 | 2.3MB | 227MB | 2.3GB |
| 30秒 | 6.8MB | 681MB | 6.8GB |
| 60秒 | 13.6MB | 1.36GB | 13.6GB |
記録の途中は、画像を一度 PNG で書き出すので、そのあいだは一時的にもっと大きくなります(LOG551)。
解像度は 640x480 でいい?
学習に使うモデルが画像を小さく縮めて使うなら、640x480 で足ります。たとえば Physical Intelligence の π0.5 は、画像を 224×224 ほどに縮めて使います。1280x720 で撮っても学習の役には立たず、データが重くなるだけなので、このサイトでは 640x480・30fps に決めました。
露出とホワイトバランスは、自動のままだとお手本ごとに明るさが揺れるので、撮り始める前に固定します。Mac の OpenCV では値を読めなかったので、ほかの道具で固定します(LOG551)。
推論の途中で人が直す仕組み(DAgger)は LeRobot にある?
あります。LeRobot 0.7.1 では、lerobot-rollout --strategy.type=dagger で、学習したモデルが動いている途中に人がリーダーで割り込めます(コードを読んで確かめた。実機ではまだ試していない)。
- space で一時停止と再開、tab で直す区間の始めと終わり
- 一時停止したとき、リーダーに力を入れて、フォロワーの姿勢へ2秒かけて寄せてから人に渡す。割り込んだ瞬間に姿勢が食い違って飛ぶことはない
- 人が直したコマには
interventionの列で印が付き、モデルが動かしたコマと分けられる - 0.7.1 では、
lerobot-recordに方策(学習したモデル)を渡す使い方はなく、lerobot-rolloutに分かれた
モデルの最初の動きをならす仕組みがあるかは、まだ確かめていません。再生で起きた「前の目標へ飛ぶ」問題は、この仕組みでも起きるとみています(LOG551)。
データ収集の前のチェック表
| 確かめること | このページの記録 | |
|---|---|---|
| 1 | カメラを番号ではなく名前で開いている | 番号は次の日に入れ替わった |
| 2 | 机側カメラのピントを数値で合わせ、カメラを固定した | 中央 2.6 → 1330 |
| 3 | 関節とカメラが 30Hz に間に合う | 関節は 2.3ms。カメラは約 30fps |
| 4 | コマ落ちの数を数えている | 30秒で 4〜13 コマ |
| 5 | 手首カメラと関節のずれを測った | 1コマ以内 |
| 6 | お手本を動かす速さの上限を決めた | 150°/s まで |
| 7 | テレオペ・再生の前にリーダーとフォロワーの姿勢をそろえる | 差は 10° 以内にした |
| 8 | 力を入れる前に、サーボの目標の角度を今の角度にする | 入れないと再生で 35〜42° 飛んだ |
| 9 | max_relative_target を設定した | 既定は上限なし |
| 10 | 記録を休みの姿勢で終える | 腕を上げたまま終えると落ちる |
| 11 | 解像度・露出・ホワイトバランスを固定した | 640x480・30fps。露出は次に固定 |
| 12 | データの置き場所の容量を見積もった | 30秒×1000回で 6.8GB |
| 13 | 校正のファイルをデータと組で残す | 角度の 0° は校正で決まる |
いまの到達点
| こと | 状態 |
|---|---|
つながり・ピント・読み取りの速さ・ずれ・速さ・記録の形・再生の正確さの実測 | できた(LOG551) |
飛びの対策(A・B)と、休みの姿勢で終える仕組み・露出の固定 | 作っている。実機ではまだ確かめていない |
| 机側カメラのずれの測り直し | まだ |
| お手本の本番の記録 | まだ |
| DAgger で人が割り込む | コードを読んだだけ |
記録にない物
- 露出・ホワイトバランスの値(Mac の OpenCV では読めなかった)
- 机側カメラと関節のずれ(爪が小さく測れなかった)
- 再生の飛びの原因の確定(2回目の再生では起きなかった)
- 再生での爪の正確さ(記録で爪を動かしていない)
- Windows・Linux での値
ここで止まった人、埋められる人は、下のフォームから教えてください。
再現を試した記録を送る
最後まで進んでいなくてもかまいません。メッセージのフォームから、次の4つを書いて送ってください。
- どこまで確かめたか
- このページと違う所(アーム・パソコン・LeRobot の版・カメラ)
- 測った値、または止まった所
- 上の「記録にない物」のうち、分かった項目
関連するページ
このページの数字のもとになった記録の全文です。測ったスクリプト、集計の結果、LeRobot の出力を全部載せています。
SO-101 失敗から学ぶアームを作る Log#4 | お手本集めの前に、SO-101 のデータのずれを測る
このページの手前、SO-101 を Mac でテレオペまで動かす手順です。
お手本の本数と、置き場所をずらした集め方です。
集めたお手本で、借りた GPU を使って VLA を学習させる手順です。
このページの更新
| 日付 | 変えたこと |
|---|---|
| 2026-11-22 | 公開 |