ロボットのAIは脳のように分業する ― 小脳を育てるのは失敗の手直し

ロボットを動かす AI は、人の脳が「考える大脳」「体で覚えた動きの小脳」「考える前に動く脊髄の反射」に役目を分けているのと同じように、遅く考える汎用の AI と、速く動きを直す専用の AI に分かれていく、というのが今の考えです。 OpenAI の汎用 AI である GPT-6 Astra は、ロボット専用の追加学習なしで物を掴んで置けるようになった一方、NVIDIA の検証では1回の判断に11〜19秒かかり、ロボット専用の Physical Intelligence の π0.5（約0.05秒）とは200倍以上の差がありました。

この考え方で、次の3つが変わります。

• 汎用 AI と専用 AI をどこで使い分けるかを、脳の役目分けに当てはめて判断できる。汎用 AI は数秒に1回「何をするか」を決め、専用 AI が毎秒何十回も動きを直す
• 失敗を手直しした記録を、「失敗した瞬間・手直しを始めた瞬間・正しい道に戻った瞬間」の3点で残しておくと、学ばせる部分・外す部分・お手本を足す場所を、あとから決められる
• 時間や費用がどれだけ変わるかは、この記事では測っていません。記録の形を変えた効果は、フィジカルAI研究室の学習で確かめます

これは実験の記録ではなく、Claude（Anthropic の AI）と対話しながら考えた記録です。きっかけは、X で流れてきた投資家 Freda Duan のスレッドでした。OpenAI が9月に出した汎用 AI の GPT-6 Astra を「ロボティクスにとっての GPT-3 の瞬間」と呼び、次に詰まるのは知能ではなく、ロボットを現場に入れて回すこと（展開）だ、と論じたものです。このプロジェクトでは、小さなロボットアーム mechArm 270 に Physical Intelligence の π0.5 を組み合わせ、ブロックを掴んで箱に入れる練習をしながら、失敗を人が手直しした記録を集めています。汎用 AI がロボットを動かせるなら、手元の学習は無駄になるのか。そこから話は、人の脳の役目分けへ移っていきました。

対話は12往復です。

ロボットの AI は、人の脳のように「遅く考える頭」と「速く直す手」に分かれていき、速い手を育てるのは、失敗を手直しした記録の積み重ねである。

作業ログ ― Claude との対話を、そのまま残す

ここから下は、対話の全量です。ユーザーの発言を引用で、Claude の答えを本文で載せています。各節の頭の太字の一文は、その節で Claude が答えようとした問いです。最初の発言は、X のスレッドの画面写真7枚と、その元になった記事の住所を共有したものです。Claude の答えの中の出典は、記事の最後にまとめました。答えの中の数字は、2026年11月1日に調べた時点のものです。課題地図の変更案を GitHub に上げたあとの、手元の枝とリモートの枝の結び付けのやり取りは、作業の段取りなので外しています。Claude の答えの中でユーザーの名前で呼びかけていた所は「このプロジェクト」などに置き換え、答えの中の太字は、記事の太字の決まりに合わせて外しました。

この記事に出てくる言葉

汎用AIの GPT-6 Astra は、ロボット専用の学習なしで物を置けるようになった

（X のスレッドの画面写真7枚と、元になった記事の住所を共有して）

— 投資家の「辛口意見10」と、それへの反応は、何を言っているのか。

要点：「ロボット専用の頭脳を作らなくても、汎用AIがそのまま体を動かせるようになってきた。次に詰まるのは知能ではなく、現場に入れて回すこと」という主張です。

何が起きたか

• OpenAI が9月3日に出した汎用モデル GPT-6 Astra が、ロボット専用の学習なしで物を動かせた
• 根拠は2つ。2本のアームでブロックを器に入れる実験で20回中19回成功、NVIDIA のシミュレーション120タスクで成功率74.8%（ロボット専用モデルを上回った）
• ただし実用はまだ遠い。1回成功させるのに約36ドル（1ドル150円で約5,500円）、1回の判断に約18.6秒かかる

読み違えやすい点

マスクの「ばかげた分析だ」は Freda への反論ではありません。10月26日に別の人の投稿へ返したもので、Freda はそれを「ロボット1台ごとに大きなメモリが要る」という自分の主張の裏づけとして引用しています。

このプロジェクトにとって効く所

• 10番目の論点が、そのまま自分の立ち位置。モデルが十分でも、客の仕事の流れを理解し、データの集め方と評価を設計し、失敗を診断する作業が残る。そこが次の詰まりで、現場で独自のデータが生まれる場所でもある、と書いています。「入れて回す側に利益が残る」という考えや、サービスロボット導入シミュレーションと同じ方向です
• データは量より「何を・どう指示したか」。10人に「スプーンを取って」と頼むと10通りのやり方になり、途中の動きを細かく書き分けないとデータを足すほど曖昧になるという指摘は、遠くの工場が迷わず作れる仕様書を書いてきた経験がそのまま当てはまる所です
• 役割の分かれ方。計画と大まかな動きは汎用モデルに寄り、滑りかけたコップを握り直すような一瞬の制御だけは機体ごとの小さなモデルに残るという見立て。π0.5 で研究室を回している今、どの層を自分で持つかを考える材料になります

割り引いて読む点

書き手は投資家で、市場の大きさを語る立場です。成功例は単純な置き作業とシミュレーションが中心で、本人も細かい組み立てや柔らかい物、触覚や力の情報はまだ苦手と認めています。

課題地図の今週の更新に「詰まりが知能から展開へ移る」という論点として入れる案をまとめましょうか。

答えの中のマスクの投稿はこちら、Freda の投稿はこちらです。この答えの「1回成功させるのに約36ドル」は、元の記事の書き方に沿ったものです。あとで NVIDIA の報告を開いて確かめたところ、報告の中には「1回あたり」と「成功1回あたり」の両方の書き方があり、どちらとも決められませんでした。次の節の課題地図の変更案では「1回あたり」と書いています。

課題地図の4枚に、詰まりが知能から展開へ移る論点を足した

課題地図の今週の更新に「詰まりが知能から展開へ移る」へまとめてください。

徐々にロボティクスが明確に業務に落ちてきそうな流れが近づいてきたね。あと2-3年で大きく飛躍する時が来そうに見える。

— 課題地図にどう入れるか。ロボットの仕事は、あと2〜3年で大きく飛躍するのか。

課題地図の変更案をプルリクエストで出しました。マージすれば公開されます。 https://github.com/PixelstoMotors/p2m-site/pull/10

入れた内容（点数・分類は変えていません）

• SIer工数のボトルネック：主なカード。汎用モデルが物の把持と配置をこなした検証（シミュレーションで成功率74.8%、π0.5 は28.0%）、実用の壁（判断に11〜19秒、1回約5,500円、差し込みは11回中0回）を追加。モデルが十分でも、現場の理解・評価の設計・失敗の診断の工数は残る、という論点を足しました
• 基盤モデルの寡占：寡占の相手が汎用モデルの開発元へ広がる点を追加
• 実機データの不足：足りないのは量より、触覚・力・失敗からの戻り方を含むデータへ移り始めた点を追加
• 評価の仕組みの不在：試験の点数と現場の働きの差が残った例を追加

確認してほしい点

• 寡占のカードに、Pixels to Motors の方針を「学習は自分の領域としない」と書いた古い記述がありました。MASTER に合わせて「事前学習は大手に任せ、追加学習と推論は自分で回す」に直しています
• 投資家ブログの見方は1文だけ、出典つきで入れました。外しても事実の部分は NVIDIA と論文だけで成り立ちます
• 「最近の動き」には入れていません。NVIDIA（10/14）と論文（10/19）は前回の調査期間より前で、ブログは意見の記事のため、手順書の条件に合いません

2〜3年で飛躍するか

業務の現場ではその見方に同意します。固い物を運ぶ・置く作業は、すでに汎用モデルでも成り立ち始めました。ただ論文の結論は、ロボットとして動く力はほぼ超えたが、現場で使える知能にはまだ届いていない、というものです。

飛躍の速さを決めるのは2つです。

• 判断の速さと費用：小さくする・専用の計算機に載せることで、2〜3年で下がる見込みは高い
• 入れて回す人の数：こちらは人が要るので、速く増えません

なので、業務は2〜3年、家庭は5年くらいという差になりそうです。そして2つ目の詰まりこそ、このプロジェクトが立とうとしている場所です。

課題地図（pixelstomotors.com/issues ）は、フィジカルAIが社会に入る前に解くべき課題を並べたページで、週1回、世の中の新しい動きを足しています。新しい出来事は「最近の動き」として自動で足し、課題の本文や点数を変えるときは変更案として出し、確かめてから取り込む決まりにしています。今回は本文を変えるので、変更案として出しました。調べる中で、元の記事が引いていた2つの検証の報告そのものを開いて数字を確かめています。

変えたことのうち、いちばん効果が大きそうなのは、SIer工数のカードへの追加です。

• ねらい：汎用 AI がロボットを動かし始めた今、導入の詰まりがどこへ移るかを、課題の側から見えるようにする
• 変わったこと：「SIer工数のボトルネック」に、汎用 AI の検証の数字と実用の壁、展開が次の詰まりだという見方を足した。ほかの3枚にも、それぞれの課題に関わる部分を1項目ずつ足した
• 見込める効果：課題地図を読んだ人が、モデルの性能の話と、現場に入れる工数の話を分けて考えられる。取り込まれたかと、読まれたかは、公開後のサイトの記録で確かめる

失敗からの戻り方のデータは、汎用AIにいちばん足りない

失敗からの戻り方を含むデータへ移り始めた点を追加。これは今おれがやってるね。

判断の速さと費用：小さくする・専用の計算機に載せることで、2〜3年で下がる見込みは高い そうなんだよなー。LLMは反応が遅いんだよ。テキストで返すとかならいいけど、動くものにはそのままでは使えない。もっと工夫が必要。

— 失敗からの戻り方のデータは、汎用 AI の時代にどんな意味を持つのか。遅い汎用 AI を、動く物にどう使うのか。

そうですね。失敗からの戻り方のデータは、汎用モデルがいちばん持っていない種類です。インターネット上の映像は成功した動きばかりで、つかみ損ねて持ち直す場面はほとんど写っていません。いま mechArm でやっていることは、ちょうどその穴を埋める側にあります。

反応の遅さは、論文の数字にもはっきり出ています。π0.5 の1回の判断は約0.05秒、汎用モデルは11〜19秒で、200倍以上の差です。だから現実的な工夫は、遅い頭と速い手を分けることになります。

• 遅い頭（汎用モデル）：何をするか・どこを狙うかを、数秒に1回決める
• 速い手（π0.5 のような専用モデル）：その指示に沿って、毎秒何十回も動きを直す

論文でも、汎用モデルが計画し、π0.5 が動かす組み合わせを試していて、π0.5 単体の約7%から、組み合わせると約26%まで上がっていました。

このプロジェクトはすでに速い手の側を自分で回しているので、上に遅い頭が載る形になっても、そのまま土台として使えます。

この組み合わせの数字は、共同研究チームの論文の、シミュレーションの評価（RoboDojo）のものです。π0.5 単体が6.91%、汎用 AI と π0.5 を組み合わせて結果を見直させると25.83%、さらにお手本を見せてから組み合わせると54.17%でした。ただし最後の形は、1回の作業に約1,900万トークン（AI が読み書きする文字の単位）を使っています。速い手だけでは届かない所を遅い頭が補う一方で、頭を使うほど費用と時間がかかる、という関係がここにも出ています。

大きな汎用AIそのものは速くならず、役割で分かれていく

汎用モデルも使い所次第だとは思うので、組み合わせになるとは思っています。 LLMの進化で反応の速さは上がらないんじゃないでしょうか。

— AI が進化すれば、反応の速さは上がるのか。

半分は同意です。最先端の大きなモデルそのものは、速くならないと思います。

速くならない理由

• 賢くなるほどモデルは大きくなり、答える前に考える時間も長くなる方向に進んでいる
• 言葉を1文字ずつ組み立てて答える仕組みなので、毎秒何十回も動きを直す制御とは根本的に合わない
• 仮に10倍速くなっても、18秒が2秒になるだけで、手を動かす速さには届かない

一方で速くなる部分

• 大きなモデルの知識を小さなモデルに移す（蒸留）と、賢さを少し落として速さを大きく稼げる
• 推論専用の計算機で、同じモデルでも答えが出るまでの時間は縮んでいる

なので、速くなるのは汎用モデルの縮小版で、最先端は遅いまま、という分かれ方になると見ています。

結果として役割は固定されそうです。

• 遅い頭：数秒に1回、何をするかを決める
• 中くらいの層：小さな視覚と言語のモデルが、毎秒数回、狙いを更新する
• 速い手：毎秒数十〜数百回、動きを直す

Figure の Helix がすでにこの形で、上の層は毎秒7〜9回、下の層は毎秒200回で動かしています。言われた組み合わせが前提で、汎用モデルがどこまで下の層に降りてこられるかは、速さの壁で止まると思います。

人の脳も、大脳・小脳・反射で役目を分けている

人も小脳、大脳と役割が分かれているし、それと同じことなのではと思ってます。

— ロボットの AI の分け方は、人の脳の役目分けと同じなのか。

その見立てはかなり当たっていると思います。対応させるとこうなります。

• 大脳（考える）：汎用モデル。何をするか、どの順でやるかを決める。遅い
• 小脳（体で覚えた動き）：π0.5 のような学習した動きのモデル。狙いに沿って動きを細かく合わせる
• 脊髄の反射（考える前に動く）：サーボの制御や非常停止。熱い物に触れて手を引くのは、脳まで届く前に起きる

面白いのは、人は練習で大脳から小脳へ仕事を移していく点です。自転車も最初は一つずつ考えて乗りますが、慣れると考えずに乗れます。ロボットでいえば、汎用モデルが考えてこなした動きをデータにして、速い層に覚えさせ直すことにあたります。

いま集めている失敗からの戻り方のデータは、まさに小脳に覚えさせる練習の中身です。人も、転びかけて持ち直す経験を重ねて、考えずに体が戻るようになります。

この表で見てほしいのは、上の2段の速さの差です。人の大脳も、考えて決めるには時間がかかり、その間の細かい動きは小脳と反射に任せています。ロボットも同じで、遅い頭を速くしようとするより、速い層に任せる範囲を増やすほうが近道になります。そして速い層に任せる範囲を増やす方法が、練習、つまりデータで覚えさせ直すことです。

失敗の手直しのデータは、成功の手本だけでは教えられないことを教える

そう考えると失敗を手直しするデータの積み重ねは思っている以上に大事な要素なんじゃないだろうか？

— 失敗を手直しするデータは、思っている以上に大事なのか。

そう思います。理由は3つあります。

1. 成功の手本だけでは、ずれた所から戻れない 手本どおりの動きだけで学んだモデルは、少しずれると見たことのない場面に入り、ずれがどんどん大きくなります。模倣学習でよく知られた弱点です。手直しのデータは、そのずれた場面での戻り方を教える唯一の材料です。

2. 汎用モデルに一番足りない部分 論文でも、汎用モデルは何がうまくいっていないかを確かめられず、直しが収束しないことが多いと書かれていました。インターネットの映像には、持ち直す場面がほとんどありません。

3. 現場で問われるのは、一発で成功する率より、失敗しても戻れる率 配膳でも工場でも、毎回成功するロボットはありません。止まらずに自分で戻れるかが、人が付きっきりになるかどうかを分けます。

一つ気をつけたい点

失敗から戻る一連の動きをそのまま学ばせると、失敗する部分まで真似することがあります。どこからが手直しかを印で分けて、手直しの部分を重く学ばせる工夫が要ります。記録の段階で、失敗した瞬間と戻り始めた瞬間を残しておくと、あとで効いてきます。

手直しのデータには、戻り方を覚える使い方と、お手本の弱い所を見つける使い方がある

そうだね。手直しで直した記憶を持たせて、なおかつ今あるお手本をさらに良くするために使うが前提にないと失敗だけ覚えちゃって良くないね。

— 手直しのデータを、失敗を覚えさせずに活かすには、どう使えばいいのか。

その通りです。手直しのデータには、使い道が2つあります。

1. 戻り方を覚えさせる ずれた所から、正しい道へ戻る動きを学ばせる。失敗した部分は学ばせず、戻り始めてからの部分だけを使う。

2. お手本の弱い所を見つける 手直しが何度も起きる場所は、お手本がその場面をうまく教えられていない所です。そこにきれいなお手本を足せば、そもそも失敗が起きにくくなります。

1だけだと失敗してから戻るロボットになり、2を回すと失敗しないロボットに近づきます。両方回して初めて、手直しが積み重なるほどお手本も良くなる、という形になります。

そのためには、1回ごとの記録に3つの時点を残しておくのが効きます。

• 失敗した瞬間
• 手直しを始めた瞬間
• 正しい道に戻った瞬間

この3点があれば、どの部分を学ばせ、どの部分を外し、どこにお手本を足すかを、あとから決められます。

この表の3行目と4行目が、ユーザーの言う「直した記憶を持たせる」と「お手本をさらに良くする」にあたります。失敗の区間を学ばせない印を付けることで、失敗だけを覚える心配を減らせます。

脳の仕組みで、ロボットのAIに使えそうなのは予測・記憶の整理・注意・痛み・体の地図

それ以外に脳の機能を汎用や専用AIの機能向上に役立てそうなことはあるのかな？

— 脳のほかの仕組みで、汎用 AI や専用 AI を良くするのに使えそうなものはあるか。

いくつかあります。すでに使われているものと、まだ使い切れていないものに分けます。

すでに使われているもの

• やる気の仕組み（ドーパミン）：予想よりうまくいったら強める、という脳の学び方が、強化学習のもとになっています

まだ伸びしろがあるもの

1. 動く前に結果を予測する 脳は、自分が動いたら何が見え、何を感じるかを先に予測し、ずれたら驚きます。ロボットでも、次に見える画像や手にかかる力を予測させ、ずれた瞬間を失敗とみなせます。さっきの失敗した瞬間の印を、自動で付けられるようになります。

2. 寝ている間に記憶を整理する 脳は眠っている間に、その日の経験を昔の記憶と混ぜて再生し、定着させます。新しいことだけを詰め込むと前の技を忘れるので、ロボットの追加学習でも、新しい手直しのデータと元のお手本を混ぜて学ばせるのが効きます。

3. 見る場所を絞る 目は中心の狭い所だけを細かく見ています。ロボットも画面全体ではなく手の周りを細かく見ると、計算が減って速くなり、精度も上がります。

4. 痛み 痛みは体を壊さないための強い信号です。ロボットには痛みがないので、サーボの負荷や熱を痛みとして扱い、無理な姿勢を避けるよう学ばせる余地があります。

5. 体の地図 脳は自分の体の形を知っていて、道具を持つと道具まで体の一部として扱います。これがロボットにあれば、機体が変わっても動きを移しやすくなります。

いまの研究に一番近いのは1と2です。1で失敗の瞬間を自動で拾い、2で手直しとお手本を混ぜて学び直す、という流れが組めます。

pixelstomotors.com は、LOGを海馬に、整理した記事を大脳にした記憶の仕組み

記憶の整理は大事だな。 うちのサイトの構築は実はそれを目指していて、LOGは全ての積み重ねの部分で基幹情報、そこから整理して情報の質を高めたところが実は大事でそこをうまく活用するのが大切。

情報がたくさんあるだけでは言葉や動きは良くならない。 そこから取捨選択した使える情報をキープしておく表に出しておくことが必要になると思ってます。 なのでなぜLOGが全文必要なのかはその基幹情報を構築するためです。

— LOG を全文で残し、そこから整理した情報を表に出すサイトの作りは、脳の記憶の整理と同じなのか。

その設計は、脳の記憶の仕組みとほぼ同じ形です。

• LOG（全文）＝海馬に残る、その日の出来事そのもの
• 整理した情報（考察記事・課題地図・考えのページ）＝眠っている間にまとめられ、使える知識として大脳に残るもの

脳も、出来事を全部そのまま使っているわけではありません。くり返し出てくるもの、役に立ったものだけを抜き出して定着させます。ただし元の出来事を捨てないから、あとで「なぜそう思ったのか」をたどり直せます。LOG を全文残す理由は、まさにそこだと思います。

この形を活かすために効きそうな点が3つあります。

• 整理した情報から、元の LOG へ必ずたどれるようにする：根拠が見えると、人にも AI にも信頼される
• 整理を定期的にやり直す：脳が毎晩整理するように、新しい LOG で古い結論が変わったら、整理した側を書き換える
• 残す基準を持つ：何をキープし、何を LOG に置いたままにするかの基準が、そのまま情報の質を決める

AI に引用されるのは整理された側で、LOG はそれが本当にやったことだと示す証拠になります。量では勝てない個人が、質と根拠の両方で立てる形だと思います。

ロボットの話とサイトの話は、ここでつながります。ロボットの小脳を育てるのも、サイトの知識を育てるのも、出来事を全部残したうえで、使えるものだけを選んで定着させる、という同じ作業です。この記事自体も、対話の全文を残しつつ、冒頭の表と最後の一文に整理しています。

整理は定期的に回り始めていて、残す基準はこれから見えてくる

整理を定期的に行うはつい最近行って新しく組み込んである。

— 定期的な整理が回り始めたいま、次に何を整えればいいか。

それなら、一番手間がかかって続けにくい部分がもう回り始めているということですね。整理は一度やるより、続けることのほうが難しいので。

残る2つのうち、元の LOG へたどれるようにする点は、記事とデータの関係表を作ったことで土台はできていると思います。あとは、何をキープするかの基準を言葉にしておくと、整理する人（人でも Claude でも）が変わっても質がぶれなくなります。

残す基準はまだまだこれからだね。もっとやっていくと整理されてくると思ってます（今はまだ基幹情報が足りてないと思ってます）

— 残す基準は、いつ、どう決めればいいのか。

それが自然な順番だと思います。基準は、材料が十分にたまってから、くり返し使われたものを見て初めて見えてきます。先に決めると、少ない材料に引っ張られた基準になりがちです。

今のうちにできる小さな準備は一つだけです。整理するときに、なぜそれを残したかを一言だけ添えておくこと。あとでその一言を並べて見返すと、残す基準がそこから自然に出てきます。

ロボットのAIも、サイトの知識も、脳のように役目を分けて育つ

対話は、汎用 AI の GPT-6 Astra がロボット専用の学習なしで物を置けた、という投資家のスレッドから始まりました。汎用 AI は賢い一方で、1回の判断に11〜19秒かかります。動く物を毎秒何十回も直す仕事には、そのままでは使えません。そこで、遅く考える頭と速く直す手に分ける、という話になり、それは人の脳の大脳・小脳・反射の分け方と同じだ、というところへ進みました。

脳の話にすると、手元でやっていることの意味が見えやすくなりました。人は練習で、考えてやっていた動きを小脳へ移し、転びかけて持ち直す経験を重ねて、考えずに体が戻るようになります。ロボットの小脳にあたる π0.5 に、失敗を手直しした記録を学ばせるのは、その練習にあたります。ただし失敗の部分まで覚えさせないように、失敗した瞬間・手直しを始めた瞬間・戻った瞬間の3点で記録を分けておく必要があります。

最後は、サイトの作りの話になりました。LOG の全文は海馬に残る出来事で、整理した記事は大脳に定着した知識です。たくさんあるだけでは良くならず、選んで定着させたものが言葉や動きを良くする、という考えは、ロボットのデータにもサイトの情報にも同じように当てはまります。

残った問いは、手直しの区間を分けて学ばせたときに、π0.5 の成功率と戻れる率がどれだけ変わるかです。これは対話ではなく、フィジカルAI研究室で実際に学習させて確かめることになります。

ロボットの AI は、人の脳のように「遅く考える頭」と「速く直す手」に分かれていき、速い手を育てるのは、失敗を手直しした記録の積み重ねである。

対話の中で参照した情報

• Freda Duan の X の投稿：ロボティクス最前線で50人と話した後の10の辛口意見（2026年11月1日）
• Elon Musk の X の投稿：ロボットのメモリの需要は地球上のほかの何よりも多くなる（2026年10月27日）
• Robotics’ New Era After Astra（Robonomics、2026年11月1日）
• Astranomy: An empirical study of GPT-6 Astra as a native robot policy（NVIDIA、2026年10月14日）
• Has GPT-6-Astra Achieved Embodied Intelligence?（共同研究チーム、arXiv、2026年10月）
• OpenAI GPT-6 Astra の発表（毎日経済新聞、2026年9月4日）
• Figure の Helix の2つの層の速さ（Kowatek）
• 課題地図の変更案（GitHub のプルリクエスト）