LeRobot の lerobot-record でデータ収集する前に確かめること ― SO-101 で測ったカメラ同期・速さ・replay の飛び
ガイド公開 2026/11/22最終更新 2026/11/22

LeRobot の lerobot-record でデータ収集する前に確かめること ― SO-101 で測ったカメラ同期・速さ・replay の飛び

LeRobot の lerobot-record で SO-101 のお手本(模倣学習のデータ)を集める前に、関節・カメラ・記録の形を実測すると、関節の角度は正確で、手首カメラと関節のずれも1コマ(33ms)以内に収まっていた。ただし、LeRobot の記録に付く時刻はカメラが撮った時刻ではなく、記録した動きを再生した瞬間にアームが 35〜42° 飛ぶことがあった。 M1 の Mac・LeRobot 0.7.1・組み立て済みの SO-101 Pro で、測定は44分でした(LOG551)。

お手本を何百本も撮ってから、カメラのずれやアームの飛びに気づくと、撮り直しになります。LeRobot の lerobot-record は、つないで動かせばお手本が撮れてしまうので、何が記録されていて何が記録されていないかは、自分で測らないと分かりません。

このページは、SO-101 を Mac で動かして測った記録から、データ収集を始める前に確かめることを並べ直したチェックリストです。LeRobot の版や数字が変わったら、このページを書き直します。機体を動かすまでの手順は「LeRobot で SO-101 を動かす始め方」にあります。

このページで分かること。

  • LeRobot の記録(データセット)に入る物と、入らない物
  • 手首カメラ・机側カメラ・関節が、どれだけずれて記録されるか
  • SO-101 をどこまで速く動かしてよいか(映像のぶれとフォロワーの遅れ)
  • lerobot-replay で記録を再生したときにアームが飛ぶ理由と、その対策
  • 推論の途中で人が割り込んで直す仕組み(DAgger)が、今の LeRobot にあるか

LeRobot のデータ収集で記録される物:action・state・動画・timestamp

LeRobot は、Hugging Face が配っている、ロボットのお手本の記録・学習・推論の道具です。lerobot-record でテレオペ(人が黒いリーダーアームを手で動かし、白いフォロワーアームが同じ角度で動く状態)をしながら、1秒に30回、次の物を記録します。

言葉中身
エピソード
お手本1回分。始めから終わりまでの続いた記録
action
リーダーの6つの角度(人が動かした角度)。学習後はモデルが出す次の角度
observation.state
フォロワーの6つの角度(アームの今の角度)
observation.images.{名前}
カメラごとの動画(av1・mp4)
timestamp各コマに付く時刻
max_relative_target
フォロワーが1コマに動ける角度の上限。既定は「上限なし」
DAgger
推論の途中で人が割り込んで直し、直した区間をお手本に足すやり方

640x480・30fps・カメラ2台で、10秒×3回を記録したときの中身は次のとおりでした(LOG551)。

名前型形
actionfloat32
[6](shoulder_pan・shoulder_lift・elbow_flex・wrist_flex・wrist_roll・gripper)
observation.state
float32[6](同じ6つ)
observation.images.wrist・desk
video
[480, 640, 3]・av1・30fps
timestampfloat32[1]
frame_index・episode_index・index・task_index
int64[1]

カメラの露出や、実際にコマが届いた時刻、サーボの電流は、記録に入りません。

測った環境と、記録にない物

項目記録にある値出どころ
アーム
Seeed SO-ARM101 Assembled Kit Pro(組み立て済み)。サーボは STS3215
LOG544
パソコン
MacBook Pro(M1)・macOS
LOG544
LeRobot0.7.1LOG551
手首カメラ
キット付属の HBVCAM の USB カメラ
LOG551
机側カメラ
InnoMaker U20CAM-720P(120°)。机の上から固定
LOG551
記録の設定
640x480・MJPG・30fps、10秒×3回
LOG551
露出・ホワイトバランスの値
ログにない(Mac の OpenCV では 0 が返り、読めなかった)
―
Windows・Linux での値
ログにない―

確かめること1:SO-101 のカメラは名前で開き、ピントを数値で合わせる

カメラの番号(OpenCV の 0・1・2…)は、つなぎ直すと入れ替わります。記録では、届いた日は手首が0番・机側が1番でしたが、次の日は手首が1番・机側が0番でした。Mac の近くの iPhone が連係カメラとしてつながると、さらにずれます。番号を決め打ちにせず、カメラの名前で探して開きます。この Mac では、ffmpeg と OpenCV でカメラの番号の並びも違っていました(LOG551)。

机側カメラは、ピントを数値で合わせます。画像の中の明るさの変わり目の鋭さ(ラプラシアンの分散)を画面に出しながらレンズを回し、中央の値がいちばん大きい所で止めます。記録では、合わせる前の 2.6 が、合わせたあと 1286〜1330 になりました。数値は同じ物を写しているときにしか比べられないので、線を引いた紙など、模様のある物を真ん中に置いて合わせます。

ピント合わせの画面。中央に線を引いた紙を置き、中央のピントの数値を見ながらレンズを回す

120° の広角レンズは、画面の端が丸く曲がって写ります。学習に使うだけなら、いつも同じ曲がり方なので問題になりません。映像から長さを測るときだけ、チェッカーボードを撮って補正します。

確かめること2:SO-101 の関節とカメラは 30Hz に間に合うか

動かさずに、関節とカメラを30秒ずつ読みました(LOG551)。

測った物結果
関節(フォロワーとリーダーの位置)
1回 2.3ms(95% で 3.9ms・最大 8.1ms)。900回中、33ms を超えた回は 0
電流・負荷・温度・電圧を足す1つにつき約 1ms 増える
カメラ2台(1280x720・640x480)
どちらも約 30fps。コマの間隔は 95% で 35〜36ms
落ちたコマ30秒で 4〜13 コマ
カメラ2台と関節を同時に
手首カメラに 150ms の穴が1回、関節の1回が 33ms を超えたのが2回

関節を読む速さは十分です。気をつけるのはカメラのコマ落ちで、1% 前後ありました。

LeRobot のカメラと関節は同期している?:手首カメラは1コマ以内

LeRobot は2台のカメラを同時に撮っているわけではありません。決まった間隔ごとに、各カメラの「その時点の最新のコマ」を取り込みます。そのため「同期しているか」ではなく、「何 ms ずれるか」を測ります。

測り方は、テレオペ中にリーダーの爪をすばやく閉じる・開くことです。爪は手首カメラにも机側カメラにも写り、関節の値にも出るので、同じ出来事がそれぞれの流れのどこに出るかで、ずれが分かります。

回フォロワーの爪(関節)手首カメラ机側カメラ
3+102ms+111ms+124ms
4+102ms+92ms+43ms
5+100ms+74ms−44ms

(リーダーの爪が動き始めた時刻を 0 にした。1回目と2回目は合図どおりに動いていなかったので外した)

手首カメラと関節の差は +9 / −10 / −26ms で、1コマ(33ms)以内でした。 机側カメラは、画面の中の爪が小さくて動き始めが決められず、使える値になりませんでした。机側カメラで測るときは、大きく写る物の動きで測ります(LOG551)。

LeRobot の timestamp は撮影時刻ではない

記録の timestamp は、3回とも「コマの番号 ÷ 30」と完全に一致し、間隔は 33.33ms で揺れが 0 でした。カメラの実際の撮影時刻や届いた時刻は、どこにも保存されません。カメラのコマが落ちると、前のコマがそのまま入り、時刻は等間隔のままです。

つまり、上で測ったずれ・コマの揺れ・コマ落ちは、記録を見ても分かりません。コマ落ちが多い回を後から外したいなら、記録とは別に、コマが届いた時刻を数えておく必要があります(LOG551)。

SO-101 はどこまで速く動かしていい?:150°/s まで

テレオペで、ゆっくり・ふつう・速くの3段を15秒ずつ動かしました。

関節速く動かしたときの速さリーダーとの差の最大電流の最大
shoulder_pan(根元の回転)
203°/s33.1°260mA
shoulder_lift(肩)
147°/s24.8°559mA
elbow_flex(ひじ)170°/s24.0°130mA
wrist_flex(手首の曲げ)
183°/s26.7°214mA
wrist_roll(手首の回転)
60°/s8.7°39mA
  • フォロワーは、リーダーより 100〜130ms 遅れてついてきます(爪だけ 170ms)。差はほぼ「速さ × 0.1秒」で、サーボの速さが頭打ちになったわけではありません
  • 温度の上がりは、全体で 1〜2℃ でした
  • 手首カメラの映像は、関節が 150°/s を超えると、止まっているときよりピントの数値が約15% 下がりました。 お手本は 150°/s より遅く動かして撮ります

記録の中の action(リーダー)と observation.state(フォロワー)にも、この遅れの分の差(最大 7.5〜14.7°)が入っていました(LOG551)。

関節の値は正確?:再生しても差は最大 1.05°

STS3215 は1回転を 4096 目盛で読むので、1目盛は 0.0879° です。記録した1回を lerobot-replay で2回再生すると、再生の始め 0.5 秒を除いて、記録との差は最大 0.62°、2回の再生どうしの差は最大 1.05° でした。キャリブレーションの値は12個ともサーボの中とファイルで一致し、角度への直し方も LeRobot の値と差 0.000 でした。

角度の 0° は「キャリブレーションで動かした範囲の真ん中」で、水平などの物理的な基準ではありません。キャリブレーションをやり直すと、同じ数字が違う姿勢を指すことになるので、校正のファイルはデータと組で残します。

爪の値は 1 で閉じ、98 で全開でした。手首カメラに写る爪の開きと、向きも大きさも合っていました(LOG551)。

手首カメラの6コマと、そのときの爪の値。1.0〜1.5 で閉じ、98.2 で片側が画面の外まで開く

lerobot-replay でアームが飛ぶのはなぜ?

再生の前に、フォロワーを記録の最初の姿勢に合わせ、差が 10° 以内なのを確かめてから再生しました。それでも1回目の再生では、最初のコマで肩が −103° → −68.5°、ひじが 91° → 49.8° と、35〜42° 動いていました。動いた向きは、記録の最後(腕を上げた姿勢)と同じです。

サーボの中には「目標の角度(Goal_Position)」が残っています。前の記録の終わりの目標が残ったまま、再生でサーボに力(トルク)が入ると、新しい指令より先にそこへ動いたとみています。2回目の再生では起きておらず、原因はまだ確定していません(LOG551)。

対策として、次の2つを入れることにしました。

対策中身
A
力を入れる前に、各サーボの目標の角度を今の角度に書き直す
B
max_relative_target を、1コマ 10° 前後にする。速く動かしたときでも1コマの動きは 7° 程度なので、ふだんの操作は止めない

LeRobot の既定では max_relative_target は「上限なし」で、lerobot-record と lerobot-replay も上限なしで動いていました。テレオペを始めるときも、LeRobot は1コマ目からリーダーの角度をそのまま送るので、リーダーとフォロワーの姿勢が違うとフォロワーが一気に動きます。始める前に、姿勢をそろえます。

記録の終わりは休みの姿勢で

記録の3回は、どれも腕を上げた姿勢で終わっていました。記録の終わりにはサーボの力が抜けるので、腕を上げたまま終えるとフォロワーが落ちます。お手本は、腕を机の上の休みの姿勢に戻してから終えます(LOG551)。

LeRobot のデータセットの大きさは?:1秒 0.23MB

640x480・30fps・カメラ2台で、1秒あたり 0.227MB でした(手首の動画が 3.85MB、机側が 2.84MB、関節の表が 0.035MB で、30秒分)。

1回の長さ1回100回1000回
10秒2.3MB227MB2.3GB
30秒6.8MB681MB6.8GB
60秒13.6MB1.36GB13.6GB

記録の途中は、画像を一度 PNG で書き出すので、そのあいだは一時的にもっと大きくなります(LOG551)。

解像度は 640x480 でいい?

学習に使うモデルが画像を小さく縮めて使うなら、640x480 で足ります。たとえば Physical Intelligence の π0.5 は、画像を 224×224 ほどに縮めて使います。1280x720 で撮っても学習の役には立たず、データが重くなるだけなので、このサイトでは 640x480・30fps に決めました。

露出とホワイトバランスは、自動のままだとお手本ごとに明るさが揺れるので、撮り始める前に固定します。Mac の OpenCV では値を読めなかったので、ほかの道具で固定します(LOG551)。

推論の途中で人が直す仕組み(DAgger)は LeRobot にある?

あります。LeRobot 0.7.1 では、lerobot-rollout --strategy.type=dagger で、学習したモデルが動いている途中に人がリーダーで割り込めます(コードを読んで確かめた。実機ではまだ試していない)。

  • space で一時停止と再開、tab で直す区間の始めと終わり
  • 一時停止したとき、リーダーに力を入れて、フォロワーの姿勢へ2秒かけて寄せてから人に渡す。割り込んだ瞬間に姿勢が食い違って飛ぶことはない
  • 人が直したコマには intervention の列で印が付き、モデルが動かしたコマと分けられる
  • 0.7.1 では、lerobot-record に方策(学習したモデル)を渡す使い方はなく、lerobot-rollout に分かれた

モデルの最初の動きをならす仕組みがあるかは、まだ確かめていません。再生で起きた「前の目標へ飛ぶ」問題は、この仕組みでも起きるとみています(LOG551)。

データ収集の前のチェック表

確かめることこのページの記録
1
カメラを番号ではなく名前で開いている
番号は次の日に入れ替わった
2
机側カメラのピントを数値で合わせ、カメラを固定した
中央 2.6 → 1330
3
関節とカメラが 30Hz に間に合う
関節は 2.3ms。カメラは約 30fps
4コマ落ちの数を数えている30秒で 4〜13 コマ
5
手首カメラと関節のずれを測った
1コマ以内
6
お手本を動かす速さの上限を決めた
150°/s まで
7
テレオペ・再生の前にリーダーとフォロワーの姿勢をそろえる
差は 10° 以内にした
8
力を入れる前に、サーボの目標の角度を今の角度にする
入れないと再生で 35〜42° 飛んだ
9
max_relative_target を設定した
既定は上限なし
10記録を休みの姿勢で終える腕を上げたまま終えると落ちる
11
解像度・露出・ホワイトバランスを固定した
640x480・30fps。露出は次に固定
12
データの置き場所の容量を見積もった
30秒×1000回で 6.8GB
13
校正のファイルをデータと組で残す
角度の 0° は校正で決まる

いまの到達点

こと状態
つながり・ピント・読み取りの速さ・ずれ・速さ・記録の形・再生の正確さの実測
できた(LOG551)
飛びの対策(A・B)と、休みの姿勢で終える仕組み・露出の固定
作っている。実機ではまだ確かめていない
机側カメラのずれの測り直しまだ
お手本の本番の記録まだ
DAgger で人が割り込むコードを読んだだけ

記録にない物

  • 露出・ホワイトバランスの値(Mac の OpenCV では読めなかった)
  • 机側カメラと関節のずれ(爪が小さく測れなかった)
  • 再生の飛びの原因の確定(2回目の再生では起きなかった)
  • 再生での爪の正確さ(記録で爪を動かしていない)
  • Windows・Linux での値

ここで止まった人、埋められる人は、下のフォームから教えてください。

再現を試した記録を送る

最後まで進んでいなくてもかまいません。メッセージのフォームから、次の4つを書いて送ってください。

  1. どこまで確かめたか
  2. このページと違う所(アーム・パソコン・LeRobot の版・カメラ)
  3. 測った値、または止まった所
  4. 上の「記録にない物」のうち、分かった項目

関連するページ

このページの数字のもとになった記録の全文です。測ったスクリプト、集計の結果、LeRobot の出力を全部載せています。

SO-101 失敗から学ぶアームを作る Log#4 | お手本集めの前に、SO-101 のデータのずれを測る

このページの手前、SO-101 を Mac でテレオペまで動かす手順です。

LeRobot で SO-101 を動かす始め方

お手本の本数と、置き場所をずらした集め方です。

ロボットアームの模倣学習、お手本は何本・どう集めるか

集めたお手本で、借りた GPU を使って VLA を学習させる手順です。

π0.5を個人で追加学習して動かす手順

このページの更新

日付変えたこと
2026-11-22公開