--- // /series6(フィジカルAI研究室)の見出しの下に置く解説(2026-11-07。2026-11-22 に SO-101 を主に組み直した) // 1 研究室の構成:SO-101 のテレオペの動画(R2 の LOG544_16_teleop.mp4、1280×720)と、手元に置くもの・時間で借りるもの // 2 いま回している実験:SO-101 でのループ(お手本 → 学習 → 実機 → 人の直し → 直した成功を学習に足す)と、各段の今の段階 // 3 いま調べていること:SO-101 と LeRobot から取れるデータの確かめ(LOG551) // 4 mechArm 270 で回した記録:前のアームの動画と数字(2026-11-19 にお手本集め・学習を区切った) // 5 使っている技術 // 数字はどれも LOG の記録の値。SO-101 で学習・推論を回したら、2 の段階と 3・4 を書き換え、動画も π0.5 で動いた SO-101 に替える type Link = { log: string; slug: string; t: string }; // 外のリンク(記事で使っている先にそろえる) const U = { so101: 'https://github.com/TheRobotStudio/SO-ARM100', lerobot: 'https://github.com/huggingface/lerobot', pi05: 'https://www.pi.website/blog/pi05', pi: 'https://www.pi.website/', runpod: 'https://www.runpod.io/', hf: 'https://huggingface.co/', }; const L544 = { log: 'LOG544', slug: 'so101-unboxing-to-first-teleop-for-demonstrations', t: '届いた日にテレオペ' }; const L551 = { log: 'LOG551', slug: 'so101-lerobot-data-check-before-demonstrations', t: 'お手本の前にデータを測る' }; const kit: { group: string; items: { h: string; p: string; url?: string }[] }[] = [ { group: '手元に置くもの', items: [ { h: 'SO-101 フォロワーアーム', url: U.so101, p: 'ロボットとして動く白いアーム。6つの関節と爪があり、手首にカメラが付いている。Seeed の組み立て済みの版(Pro)' }, { h: 'SO-101 リーダーアーム', url: U.so101, p: '人が手で持って動かす黒いアーム。動かすとフォロワーが同じ角度で動く。お手本を撮るのにも、AI が失敗しかけたときに直すのにも使う' }, { h: '手首のカメラと机のカメラ', p: 'フォロワーの手首のカメラと、机に置いた InnoMaker U20CAM-720P。どちらも USB で、640x480・30fps で撮る' }, { h: 'Mac と LeRobot', url: U.lerobot, p: 'アーム2本とカメラ2台を USB だけでつなぐ。LeRobot(Hugging Face のロボット学習の道具)で画像と関節の角度を記録し、借りた GPU とやり取りする' }, ] }, { group: '時間で借りるもの', items: [ { h: 'Runpod の A40', url: U.runpod, p: 'π0.5 の学習と推論をする GPU。メモリ 48GB、1時間あたり約98円' }, { h: 'Hugging Face', url: U.hf, p: '学習済みのモデルの置き場所。借りたマシンはここからモデルを取りに行く' }, ] }, ]; // SO-101 のループ。state は今の段階(done=済み・next=これから) const loop: { h: string; state: string; done: boolean; p: string; links: Link[] }[] = [ { h: 'お手本を集める', state: '撮り方を決めた', done: true, p: 'リーダーアームを手で動かし、ブロックの置き場所をずらしながら撮ります。映像は 640x480・30fps、動かす速さは 150°/s まで、記録は休みの姿勢で終える、と測った数字から決めました。', links: [L544, L551] }, { h: 'π0.5 に覚えさせる', state: 'これから', done: false, p: '集めたお手本で、借りた A40 を使って π0.5 に追加学習します。', links: [] }, { h: '実機で動かす', state: 'これから', done: false, p: '置き場所ごとにブロックを置き、人が手を出さずに箱へ入れた回数を数えます。', links: [] }, { h: '失敗しかけたら人が直す', state: 'これから', done: false, p: '推論の途中でリーダーアームに持ち替えて直します(LeRobot の DAgger)。', links: [] }, { h: '直した成功を学習に足す', state: 'これから', done: false, p: '人が直したコマには印が付くので、AI が動かしたコマと分けてお手本に足し、学び直します。', links: [] }, ]; // いま調べていること(LOG551 の値) const now: { label: string; num: string; unit: string; p: string }[] = [ { label: '記録を2回再生した差', num: '1.05', unit: '°', p: '関節は 0.088° 刻みで読めます。同じ記録を2回再生しても、差は最大 1.05° でした。' }, { label: '手首カメラと関節のずれ', num: '1', unit: 'コマ以内', p: '33ミリ秒以内です。ただし記録の時刻は「コマの番号 ÷ 30」で、カメラが撮った時刻は残りません。' }, { label: '再生の始めに飛んだ角度', num: '35〜42', unit: '°', p: 'サーボに前の目標が残っていたためとみています。力を入れる前に目標を今の位置に書き、1コマに動ける量も制限します。' }, ]; // mechArm 270 で回した記録(2026-11-06 の LOG450 までの値)。小さく1行にまとめる(2026-11-22) const prev: { h: string; num: string; unit: string; link: Link }[] = [ { h: 'お手本', num: '19', unit: '本', link: { log: 'LOG352', slug: 'teach-replay-19-demos', t: 'お手本19本' } }, { h: '学習', num: '4,000', unit: 'ステップ', link: { log: 'LOG358', slug: 'pi05-learned-the-pauses', t: '待ち時間まで覚えた' } }, { h: '実機で成功', num: '9/15', unit: '回', link: { log: 'LOG401', slug: 'pi05-weak-position-d', t: '回数で測る' } }, { h: '人の直し', num: '13', unit: '秒', link: { log: 'LOG450', slug: 'gamepad-fixes-mecharm-270-ai-in-13-seconds', t: '1回13秒に' } }, { h: '直して足した', num: '11', unit: '本', link: { log: 'LOG422', slug: 'retrained-pi05-still-needs-human-corrections', t: 'それでも直しが要った' } }, ]; const tech: { name: string; sub: string; p: string; url?: string; subUrl?: string; links: Link[] }[] = [ { name: 'π0.5', sub: 'Physical Intelligence', url: U.pi05, subUrl: U.pi, p: '米国の Physical Intelligence 社が公開している、ロボット用の AI のモデルです。カメラの画像、関節と爪の角度、指示文(赤いブロックを白い箱に入れる)を受け取り、次の1秒ぶんの関節の角度を返します。どの順番で動くかを書いたプログラムはありません。', links: [{ log: 'LOG337', slug: 'pi05-mecharm-demo-to-inference', t: 'mechArm 270 で動かすまでの流れ' }] }, { name: 'LeRobot', sub: 'Hugging Face', url: U.lerobot, subUrl: U.hf, p: 'Hugging Face が作っている、ロボットの学習のための道具一式です。アームのつなぎ方、キャリブレーション、テレオペ、お手本の記録、推論までを同じ道具で回せます。SO-101 は届いた日に、入れる作業からテレオペまで進められました。', links: [L544] }, { name: '追加学習', sub: 'LoRA', p: 'たくさんのロボットのデータで学習済みの π0.5 に、自分のアームのお手本だけを足して覚えさせます。モデル全体ではなく、足した小さな部品だけを学習するので、A40 を1枚借りれば足ります。', links: [{ log: 'LOG341', slug: 'pi05-mecharm-lora-2000-steps', t: '予測がお手本とほぼ一致' }] }, { name: '時間で借りる GPU', sub: 'Runpod', subUrl: U.runpod, p: 'π0.5 は NVIDIA の GPU を積んだ Linux のマシンでしか動かず、Mac では動きません。そこで GPU を時間単位で借ります。学習は自動で回し、終わるとモデルを持ち帰って、借りたマシンを消します。', links: [{ log: 'LOG401', slug: 'pi05-weak-position-d', t: 'モデルを Hugging Face に置いた' }] }, { name: '推論サーバー', sub: 'Remote inference', p: '借りたマシンの上で π0.5 を起動し、Mac とつなぎます。mechArm 270 のときは、π0.5 の計算が1回平均97ミリ秒、Mac から送って答えが返るまでの往復が391ミリ秒でした(A40)。', links: [{ log: 'LOG326', slug: 'openpi-remote-inference-first-run', t: '借りた GPU で初めて動かした' }] }, { name: '人の割り込み', sub: 'DAgger', url: U.lerobot, p: 'AI が動かしている途中で失敗しかけたら、人がリーダーアームで引き取って直し、直した区間をお手本に足します。mechArm 270 では巻き戻しとゲームパッドの道具を自分で作りましたが、SO-101 では LeRobot にある仕組みを使います。', links: [L551, { log: 'LOG403', slug: 'rewind-and-correct-pi05', t: 'mechArm 270 の巻き戻し' }] }, ]; ---

研究室の構成 | Setup

机の上の SO-101(アーム2本)と USB カメラ2台と Mac に、時間で借りる GPU を足しただけの構成です。人がリーダーアームを動かしてお手本を撮り、借りた GPU で π0.5 に覚えさせ、学習したモデルがフォロワーアームを動かします。アームとカメラは USB だけで Mac につながり、記録から推論までを LeRobot で回します。

SO-101 のテレオペ。黒いリーダーを手で動かすと、白いフォロワーが同じ角度で動く(2026年11月21日)
{kit.map((g) => (

{g.group}

{g.items.map((it) => (
{it.url ? {it.h} : it.h}
{it.p}
))}
))}

いま回している実験 | Experiment

赤いブロックをつかんで、白い箱に入れる。この1つの作業を π0.5 に覚えさせ、失敗しかけた所を人が直し、直した動きをまた学習に回します。前のアーム mechArm 270 で詰まったのは、置き場所をずらしたお手本を集めることでした。SO-101 では、リーダーアームを手で動かして撮ります。

    {loop.map((s, i) => (
  1. {String(i + 1).padStart(2, '0')}

    {s.h}

    {s.state}

    {s.p}

    {s.links.length > 0 && }
  2. ))}

05 のあとは 03 に戻り、学び直したモデルで実機をもう一度動かします

SO-101 は 2026年11月22日の時点で、お手本を撮る前の確かめまで(LOG551)。mechArm 270 で回した数字は下にまとめています。

いま調べていること | Now

お手本を撮り始める前に、SO-101 と LeRobot から取れるデータがどこまで正確かを測りました。実物のアームと USB カメラ2台を Mac につなぎ、リーダーを動かして記録し、その記録を再生して比べています。

{now.map((n) => (

{n.label}

{n.num}{n.unit}

{n.p}

))}

mechArm 270 で回した記録 | Previous

SO-101 の前は mechArm 270 で同じループを回し、置き場所をずらしたお手本を集めるのが難しく、2026年11月19日に区切りました。

使っている技術 | Technology

{tech.map((t) => (
{t.url ? {t.name} : t.name}{t.subUrl ? {t.sub} : t.sub}

{t.p}

))}