読まれる研究室へ、ページを SO-101 中心に ― ChatGPT の絵は5つの視点で

この記事の素材(コード・ログ・データ 1ファイル・まとめてダウンロードあり)
AIで読む ChatGPT・Claude などで、この記事に質問できます

フィジカルAI研究室のページ(pixelstomotors.com/series6)を SO-101 中心にするには、構成の一覧に機体を1行足すだけでは足りず、構成・実験・調べていること・技術の全部の欄を SO-101 に入れ替え、前のアーム mechArm 270 の記録は数字5つの小さな欄にまとめる必要があった。 実験の5つの段のカードには ChatGPT に描かせた絵を入れ、肩越し・見上げ・真上・大写し・机すれすれと、視点を1枚ずつ変えて、並べても見分けがつくようにした。

これで変わること。

  • 研究室のページを開いた人が最初に見るのが、知名度の低い mechArm 270 ではなく、LeRobot で多くの人が使っている SO-101 になった。同じ機体を持つ人が、自分の手元と比べながら読める
  • 実験の5つの段のうち、済んだ段(お手本の撮り方を決めた)だけを色つきの絵と記事のリンクで見せ、これからの段は絵を薄くして記事を付けない形にした。どこまで進んでいて、どこから先がまだかが、絵の濃さで分かる
  • ChatGPT に絵を描かせるときの決まり(何枚か並べる絵は視点を変える・SO-101 の手首カメラとリーダーの持ち方は実物の写真を添える)を、ガイドの絵の決まりに書き足した。次に SO-101 の絵を描くとき、同じ直しを繰り返さずに済む
  • 作業は 19:25 に頼まれてから、絵を描き直した版の公開が 21:28 で、約2時間。前に同じ規模でページを組み直した時間は測っていない

困ったのは、頼まれたことを狭く受け取ったことだった。「研究室の構成を SO-101 に変えるか追加して」と言われて、Claude は構成の一覧に SO-101 の行を足して公開した。画面を見たエイイチからは「変わってないけど?」と返ってきた。動画も説明も実験の数字も mechArm のままで、ページの顔は変わっていなかった。

いやSO101をメインの構成にしてよ。というかこんな一部修正だけでは意味ない。どういう意図で支持したか理解していますか?

mechArm 270 はマニアックすぎて、研究室の記事が外の人に読まれにくい。SO-101 が届いたら研究室のページを見直す、と決めていた。その意図をくみ取れていなかった。

絵でも、同じ種類のつまずきが続いた。ChatGPT が描いた最初の5枚は、どれも斜め45度から机を見下ろす同じ構図だった。SO-101 の手首カメラは、爪の上を四角い枠が囲む形で描かれていた。実物は、爪の付け根から L 字に立ち上がった板の先にカメラが付いている。

やったことなぜ結果
構成の一覧に SO-101 の行を足した
頼まれた文の範囲で直した
「変わってないけど?」。ページの顔は mechArm のままだった
ページの5つの欄を SO-101 中心に組み直した
外の人に読まれる研究室にするため
構成の動画は SO-101 のテレオペに、mechArm は小さな記録の欄に
「これから」の段から記事を外した
まだやっていない段に mechArm の記事が付いていた
済んだ段だけに SO-101 の記事2本が付く
カードの絵を ChatGPT に描かせた
ガイドのサムネイルと同じ絵柄で、段の中身を一目で伝えたい
5枚描けたが、構図が全部同じ・手首カメラの形が違った
手首カメラと持ち方を実物の写真で直し、5枚の視点を変えた
並べたとき区別がつかなかった
肩越し・見上げ・真上・大写し・机すれすれの5枚で公開した

作業ログ ― 研究室のページに SO-101 の行を足しただけで公開した

最初に頼まれた文と、Claude が直した範囲

最初の依頼は、研究室のページの「研究室の構成 | Setup」の欄を SO-101 に変えるか、足せないか、というものだった。Claude はページの欄を読み、構成の一覧を「いまのアーム SO-101」「これまでのアーム mechArm 270」「時間で借りるもの」の3つに分けた。説明文も1行足した。

SO-101 は、The Robot Studio と Hugging Face が設計を公開している6つの関節の小さなロボットアーム。人が手で動かす黒いリーダーアームと、ロボットとして動く白いフォロワーアームの2本で1組になる。LeRobot は、Hugging Face が作っているロボットの学習のための道具一式で、アームのつなぎ方・テレオペ・お手本の記録・学習・推論までを同じ道具で回せる。どちらも、SO-101 を開封してテレオペまで進めた LOG544 で詳しく書いている。

一覧に SO-101 の行を足しただけの版。左の動画は mechArm 270 のまま

公開後、エイイチから「変わってないけど?」と返ってきた。一覧は変わっていたが、ページを開いて目に入る動画・説明・下の実験の数字は、全部 mechArm 270 のままだった。

「一部修正だけでは意味ない」と言われて、意図を取り違えていたと分かった

続けて届いたのが冒頭に引用した一言だった。Claude は、ページの一部ではなく、研究室の顔を SO-101 に切り替えることが求められていたと受け取り直した。

  • ねらい:研究室のページを開いた人が、まず SO-101 を見るようにする
  • 変わったこと:一覧の1行ではなく、5つの欄の中身を入れ替える作業になった
  • 見込める効果:SO-101 を持つ人がページを読みに来る。来たかどうかは、公開後のページの閲覧数と、SO-101 の記事への移動で確かめる(今は測っていない)

作業ログ ― 研究室のページの5つの欄を SO-101 中心に組み直した

5つの欄の、前と後

欄
前(mechArm 270 中心)
後(SO-101 中心)
研究室の構成
π0.5 が動かした mechArm の動画、手元に置くもの4つ(mechArm・上のカメラ・ゲームパッド・Mac)
SO-101 のテレオペの動画、手元に置くもの4つ(フォロワー・リーダー・手首と机のカメラ・Mac と LeRobot)
いま回している実験
mechArm での5つの段と数字(19本・4,000ステップ・9/15回・13秒・11本)
SO-101 での5つの段と、段ごとの今の段階(撮り方を決めた・これから)
いま調べていること
爪のサーボの電流(mechArm)
SO-101 と LeRobot から取れるデータのずれ(LOG551)
mechArm 270 で回した記録
なし
新しく足した。数字5つだけの小さな欄
使っている技術
π0.5・LoRA・借りる GPU・推論サーバー・巻き戻しと人の直し
LeRobot と、人の割り込み(DAgger)を足した。ゲームパッドの説明は外した

DAgger は、AI が動かしている途中で人が引き取って直し、直した区間をお手本に足して学ばせる仕組み。LeRobot 0.7.1 では、推論の途中でリーダーアームに持ち替えて直せる(LOG551 でコードを読んで確かめた。実機ではまだ試していない)。

組み直した「研究室の構成」の欄。左は SO-101 のテレオペの動画、右は手元に置くものと時間で借りるもの

SO-101 ではまだ学習も推論も回していない。数字のない段に mechArm の数字を置くと、SO-101 の結果のように読めてしまう。そこで、実験の段は大きな数字の代わりに「撮り方を決めた」「これから」という今の段階を出した。

公開前の画面写真を見せてから、外のリンクを足し、mechArm の欄を縮めた

組み直した版は公開せずに、手元でビルドした画面の写真をエイイチに見せた。返ってきた指示は2つだった。リンクのある物(機体・道具・サービス)にはリンクを付けること。mechArm の欄はもっと小さくてよいこと。

外のリンクは、記事でこれまで使ってきた行き先にそろえた。SO-101 は The Robot Studio の GitHub、LeRobot は Hugging Face の GitHub、π0.5 は Physical Intelligence の紹介ページ、Runpod と Hugging Face は各社のサイト。Seeed の組み立て済みキットと机のカメラ(InnoMaker U20CAM-720P)は、メーカーの公式ページを確かめられず、販売店のページしか見つからなかったので付けていない。

mechArm の欄は動画を外し、説明1文と数字5つの横並びにした。数字の枠を押すと、その記録の記事に移る。

小さくした「mechArm 270 で回した記録」の欄。数字5つが横に並び、押すとその記録の記事に移る
「いま調べていること」の欄。SO-101 と LeRobot から取れるデータを、再生の差・手首カメラと関節のずれ・再生の始めの飛びの3つの数字で見せる

「これから」の段に付いていた mechArm の記事を外した

画面写真を見たエイイチから、「これから」と書いた段に記事が付いているのはおかしい、という指摘があった。02・03・05 に付けていたのは mechArm の記事で、04 の LOG551 は SO-101 の記事だが、コードを読んだだけで実機では試していない。

「これから」の4つの段から記事を外し、説明も「これからやること」だけにした。mechArm の数字は、下の記録の欄にある。SO-101 で段を進めたら、その段を「済み」にして記事を付ける。

作業ログ ― 実験のカードの絵を3案から選んだ

アイコン・実物の写真・自作のイラストの3案

カードに絵を入れたい、検討して提案して、という依頼に、Claude は3つの案を出した。

案中身良い点気になる点
A 線のアイコン
サイトで使っているアイコンの書体から、段ごとに1つ選ぶ
すぐ作れて、サイトとそろう
ありきたりで、段の中身まで伝わりにくい
B 実物の写真
済んだ段から SO-101 の写真に替えていく
本物が見えるので説得力がある
今は 01 しか写真がない。02〜05 に mechArm の写真を入れると、さっきと同じ食い違いになる
C 自作のイラスト(おすすめ)
段の中身を描いた絵を5枚。済んだ段だけ色、これからの段は灰色
何をする段か一目で分かる。写真のない段でも食い違わない
5枚作るので手間がかかる

エイイチは C を選んだ。Claude が線の絵を SVG で描き始めたところで、エイイチから、ガイドのサムネイルのようなイラストにしてほしい、シルクスクリーン風である必要はない、と指示があった。

ガイド(pixelstomotors.com/guide)のサムネイルは、ChatGPT に見本の絵を添付して描かせ、仕上げを Claude が行っている(決まりは Project の guide_rules.md)。カードの絵も同じやり方にした。網点・かすれ・版ズレの仕上げは付けない。

作業ログ ― ChatGPT に5枚を描かせ、ダウンロード経由で受け取った

見本の絵と実物の写真を1枚にまとめて添付した

ChatGPT はエイイチの Chrome で開き、Claude in Chrome で操作した。見本には、ガイド「SO-101 を LeRobot で動かす」のサムネイルと、LOG544 のリーダーとフォロワーの写真を、1つのページに並べて画面写真にし、その1枚を添付した。画面写真を縮めて撮ると、添付される画像も小さくなる(最初は 14KB と 8KB で、細部が読めない大きさだった)。縮めずに撮った画面写真を、撮ってすぐ添付して 102KB になった。

1枚目の依頼の文は次のとおり。2〜5枚目は、同じ会話で「1枚目と同じ絵柄・同じ視点の高さ・同じ質感で」と書き、場面だけを変えて頼んだ。

ChatGPT への依頼の文(1枚目・共通の決まり)

添付画像の左の絵(ガイドのサムネイル)と同じ絵柄で、小さなカードに載せる絵を、これから5枚、1枚ずつ描いてもらいます。まず1枚目を描いてください。

絵柄:白に近い紙の平らな地。線ではなく平らな面で描く。黒の大きなベタの塊の中に、暗い灰色の面で細部(溝・継ぎ目・ネジ)。網点・かすれ・版ズレは付けない。グラデーション・写真風・3DCG なし。
アーム:添付画像の中央(黒いリーダー)と右(白いフォロワー)の SO-101 の実物の形で描く。黒いリーダーは握る取っ手と指をかける輪のトリガー(爪とカメラは付けない)。白いフォロワーは 3D プリントの角ばった腕、各関節の黒い四角いサーボ、細長い2本の爪、爪の上の四角いカメラの枠。配線の赤は灰色にする。
色:アクセントは青(#406ed8)を1か所だけ。ほかの色は足さない。
構図:横4:縦3。主役を中央に大きく、余白は少なめ。斜め45度の見下ろしで、遠近は1枚の中でそろえる。人は手から腕までのつながりが分かる形にする。
入れないもの:文字、数字、ロゴ、観葉植物やペン立てなどの小物。

1枚目の場面:机の上で、人の手が黒いリーダーを握って動かし、隣の白いフォロワーが同じ姿勢をとっている。フォロワーの爪の先に青いブロック。

この文の「爪の上の四角いカメラの枠」と「斜め45度の見下ろし」が、あとで直すことになる2つの原因になった。前の文はガイドの絵の決まりから、後ろの文は Claude が5枚の決まりとして書き足したものだった。

描いた絵を受け取る手順

ChatGPT が描いた画像は、ページの中では blob の URL で、そのまま Claude の作業環境には持ってこられない。ページの中で 720px 幅の webp に縮め、ダウンロードとして Mac の「ダウンロード」に保存し、そのフォルダを読む許可をもらって受け取った。カードの表示幅は 200px 強なので、720px あれば足りる。

window.__dl = async (name)=>{
  const ims=[...document.querySelectorAll('img[alt^="生成画像"]')].filter(i=>i.naturalWidth>1000);
  const im=ims[ims.length-1]; await im.decode().catch(()=>{});
  const w=720,h=Math.round(im.naturalHeight*w/im.naturalWidth);
  const c=document.createElement('canvas'); c.width=w;c.height=h;
  c.getContext('2d').drawImage(im,0,0,w,h);
  const a=document.createElement('a'); a.href=c.toDataURL('image/webp',0.85); a.download=name;
  document.body.appendChild(a); a.click(); return [w,h];
};
window.__ask = async (t)=>{
  const box=document.querySelector('[contenteditable="true"]'); box.focus();
  document.execCommand('insertText', false, t);
  await new Promise(r=>setTimeout(r,800));
  document.querySelector('button[aria-label="送信"]').click();
  await new Promise(r=>setTimeout(r,20000)); return 'sent';
};

最初の5枚は、どれも斜め45度の見下ろしだった

最初に描いた5枚。お手本を集める・π0.5 に覚えさせる・実機で動かす・人が直す・学習に足す。どれも斜め45度から机を見下ろしている

カードに入れて画面を見せると、エイイチから、01 と 04 が人がリーダーを握る同じ構図で似ている、と指摘があり、04 だけ別の構図で描き直した。そのあと、2つの指摘が続いた。

作業ログ ― 手首カメラと構図とリーダーの持ち方を、実物の写真で直した

手首カメラは L 字の板の先に付いている

エイイチから、基本はいいが爪のカメラだけ変だ、と2枚の写真が届いた。実物の手首カメラは、爪の付け根から L 字に立ち上がった白い平たい板の先に付いていて、板の四角い窓に小さなカメラ基板とレンズがはまり、レンズは爪の先を向いている。描かれていたのは、爪の上を四角い枠が囲む形だった。

原因は依頼の文にあった。ガイドの絵の決まりに「爪の上の四角いカメラの枠」と書いてあり、それをそのまま渡していた。写真を添付し、手首カメラの形だけを直すよう頼んで、フォロワーが出る 01・03・04 を描き直した。

左が最初の 01、右が手首カメラを直した 01。爪を囲む枠が、L 字の板の先のカメラに変わった
  • ねらい:SO-101 を持っている人が見て、違和感のない形にする
  • 変わったこと:ガイドの絵の決まりの SO-101 の手首カメラの書き方を、実物どおりに直した
  • 見込める効果:次に SO-101 の絵を描くとき、同じ形の間違いを繰り返さない

並べると「みんな同じ構図」だった

手首カメラを直した版を公開したあと、エイイチから、よく見たらみんな同じ構図だ、やり直し、と返ってきた。続けて、もっとカメラワークや構図を工夫して質を上げてほしい、という指示があった。

手首カメラを直したあとの5枚。カメラの形は直ったが、どれも同じ高さ・同じ角度から机を見下ろしている

Claude は、5枚の視点の高さ・寄り方・画面の切り方を1枚ずつ分けた表を作り、それに沿って描き直した。

段視点寄り方画面の作り
01 お手本を集める目の高さ、人の肩越し中くらい
手前に握る手を大きく、奥でフォロワーが鏡のように同じ姿勢
02 π0.5 に覚えさせる床から見上げ引き
そびえるラックの縦の線と、机の端の小さなノートパソコン
03 実機で動かす真上から中くらい
腕・ブロック・箱を図形として見せ、机の端を斜めに走らせる
04 人が直す爪のすぐ横大写し
落ちるブロックを中央に、人の手は端から切れて入る
05 学習に足す机すれすれの低い目線寄り
お手本の束に、人の手が青い1枚を重ねる

5枚に共通して頼んだ決まりは次のとおり。

ChatGPT への依頼の文(構図を5枚とも変える・共通の決まりと1枚目)

さっきの依頼は取り消して、もっとカメラワークと構図を工夫して描き直します。5枚はカードに横に並ぶので、視点の高さ・寄り方・画面の切り方を1枚ずつはっきり変えてください(5枚とも「斜め45度から机を見下ろす」にしない)。

5枚に共通すること:
・絵柄・質感・色は今までどおり(白い紙の地、平らな面、黒のベタと暗い灰色、グラデーション・写真風なし)。アクセントの青は1枚に1か所だけ
・SO-101 は実物の形(黒いリーダーは取っ手と輪のトリガー、白いフォロワーは角ばった3Dプリントの腕・黒い四角いサーボ・細長い2本の爪、手首カメラは爪の付け根から L 字に立ち上がる白い板の先)
・小さなカードに縮めて見るので、主役のシルエットを大きくはっきり。細かい小物は入れない。手前・奥の重なりで奥行きを出す
・画面の端で物を大胆に切ってよい。余白も構図の一部として使う
・横4:縦3。文字・数字・ロゴなし

まず1枚目(お手本を集める):
視点は人の目の高さ、人の右肩の少し後ろからの肩越し。手前の画面左下に、人の肩から腕と、黒いリーダーの取っ手を握る手を大きく置く(肩は画面の端で切れてよい)。その奥、画面の右側で、白いフォロワーがリーダーと鏡のように同じ姿勢をとっている。フォロワーの爪の先に青いブロック(青はここだけ)。リーダーとフォロワーの2つの腕のシルエットが、向かい合って呼応して見えるように。

リーダーアームは、机に立つ腕の先の取っ手を握る

肩越しの1枚目では、黒いリーダーが手で持ち上げる道具のように描かれていた。エイイチが、リーダーの持ち方の写真を4枚送ってきた。リーダーは机の上に台座で立っている腕で、人はその先端の取っ手を、ピストルのグリップのように握って動かす。台座は机に置いたまま、腕全体が人の手に引かれて曲がる。写真を添付して描き直させた。

左が持ち方を直す前の 01(リーダーの台座が見えない)、右が直した 01(台座から立つ腕の先の取っ手を握り、奥のフォロワーが同じ弧を描く)

ChatGPT への依頼の文(リーダーの持ち方を直す)

添付の3枚は、リーダーアームの実際の持ち方の写真です。黒いリーダーは手で持ち上げる道具ではなく、机の上に台座で立っている腕です。人はその腕の先端(手首の先)に付いた取っ手を、ピストルのグリップのように握って動かします(人差し指はトリガーの輪に掛ける)。台座は机に置いたまま、腕全体が人の手に引かれて曲がります。白いフォロワーは隣に立ち、リーダーと同じ形に曲がります。

この持ち方で、1枚目(お手本を集める)を描き直してください。構図は前回の1枚目と同じ考え方(人の目の高さ、右肩の少し後ろからの肩越し、手前に人の腕と握る手を大きく、画面の端で切れてよい)。ただし、黒いリーダーの台座と腕が机から立ち上がっているのが見えるようにし、手はその先端の取っ手を握る。奥の右側に白いフォロワーが同じ形に曲がり、爪の先に青いブロック(青はここだけ)。2本の腕の弧が呼応して見えるように。

送ってもらった持ち方の写真と手首カメラの写真は、ChatGPT への添付にだけ使い、この記事には載せていない。

05 は記号を並べた図をやめ、お手本の束に1枚を重ねる場面にした

最初の 05 は、フィルムの帯がお手本の箱に入っていく絵だった。描き直しでは真横から水平に見た構図にしたところ、エイイチから、これはいまいち、と指摘された。フィルムの帯を並べただけの、記号の図になっていた。

続けて、最初の 05 の構図を直してほしい、という指示も届いた。そこで2案を描かせた。最初の 05 の中身のまま、手前のフィルムの帯が奥の箱へ吸い込まれる一点透視の構図にした案。もう1つは、机の上に積んだお手本のカードの束に、人の手が青い縁の1枚を重ねる場面の案。エイイチは後者を選んだ。

左から、真横から見た記号的な 05(いまいち)、フィルムの帯が奥の箱へ吸い込まれる 05、お手本の束に青い1枚を重ねる 05(選んだ)
  • ねらい:「直した成功を学習に足す」を、記号ではなく手で触れる物の動きで伝える
  • 変わったこと:フィルムの記号の並びから、お手本の束と、上から置かれる1枚の場面になった
  • 見込める効果:束の高さと1枚で、「1本足す」が一目で分かる。伝わったかは、公開後にエイイチがカードを見て判断する

作業ログ ― 5つの視点の絵を研究室のページに入れた

公開した5枚。肩越し・見上げ・真上・大写し・机すれすれの低い目線

カードでは、済んだ段(01)だけ元の色で出し、これからの段(02〜05)は CSS で色を抜いて半分の濃さにした。段が済んだら、その段の done を true にすると元の色に戻る。

公開した「いま回している実験」の欄。01 だけ色つきで記事2本が付き、02〜05 は薄い灰色

公開した版の一覧

時刻
p2m-site の commit
中身
19:294ac2941
構成の一覧に SO-101 を足した(一部だけの直し)
19:5190f80d7
研究室のページを SO-101 中心に組み直した・外のリンク・mechArm の欄を小さく・これからの段から記事を外した
21:03b8b758e
カードに絵を入れた(手首カメラを直した版)
21:28508a5e0
5枚とも視点を変えて描き直した版

b8b758e は、最初に push したとき、先にリモート側が別の作業(LOG553 の公開)で進んでいて弾かれた。手首カメラを直してから、リモートの最新に載せ直して push した。

ガイドの絵の決まりに足したこと

Project の guide_rules.md(ガイドの書き方とサムネイルの決まり)の4節に、次の3つを足した。

  • SO-101 の手首カメラは、爪の付け根から L 字に立ち上がった板の先に付く。爪の上を四角い枠が囲む形ではない。ChatGPT には手首カメラが分かる写真も添える
  • SO-101 のリーダーは机に台座で立つ腕で、人はその先端の取っ手をピストルのように握って動かす
  • 何枚か並べて使う絵は、1枚ずつ視点の高さ・寄り方・画面の切り方を変える。記号を並べた図にせず、物と場面で描く

作業ログ ― 研究室のガイドのコード(src/components/LabGuide.astro の全文)

この記事のコード・ログ・データは、1ファイルずつ下に置いています。全文はリンク先にあります。

ファイルの一覧(1本)

01_src_components_LabGuide.astro.txt ― src/components/LabGuide.astro・17,843字

ページ(/series6)の見出しの下に入るガイドの部品の、公開した版の全文。

src/components/LabGuide.astro

01_src_components_LabGuide.astro.txt17,843字・303行・astro
---
// /series6(フィジカルAI研究室)の見出しの下に置く解説(2026-11-07。2026-11-22 に SO-101 を主に組み直した)
// 1 研究室の構成:SO-101 のテレオペの動画(R2 の LOG544_16_teleop.mp4、1280×720)と、手元に置くもの・時間で借りるもの
// 2 いま回している実験:SO-101 でのループ(お手本 → 学習 → 実機 → 人の直し → 直した成功を学習に足す)と、各段の今の段階
// 3 いま調べていること:SO-101 と LeRobot から取れるデータの確かめ(LOG551)
// 4 mechArm 270 で回した記録:前のアームの動画と数字(2026-11-19 にお手本集め・学習を区切った)
// 5 使っている技術
// 数字はどれも LOG の記録の値。SO-101 で学習・推論を回したら、2 の段階と 3・4 を書き換え、動画も π0.5 で動いた SO-101 に替える
別のタブで開く保存