Generalist AIのロボット基盤モデル、半年で数秒の手本で動く所まで来た
Generalist AI のロボット基盤モデル GEN-1.5 は、人が3〜12秒の手本を1回見せるだけで、初めての作業を10種類の平均で59%の成功率でこなす。 2026年8月に同社が発表した数字で、5分ぶんのデータで軽く調整すると83%まで上がる。4月に1世代前の GEN-0 を調べたときは、個人の研究者がこの水準のロボット基盤モデルを使える日はまだ遠いと見ていた。その見立ては、半年で崩れた。
この記事を読むと、次の3つが分かる。
- Generalist AI の GEN-0 から GEN-1、GEN-1.5 までの半年で、何が数字で変わったか。成功率・速さ・手本の長さを、同社の公式の発表から並べて見られる
- 「見せるだけで覚える」が、どこまで本当で、どこからがまだ言えないことか。手本1回で覚えたことはその場限りで、モデルの中には残らない
- フィジカルAIを個人で研究する立場から、学習を自分で回す意味と、サービスロボット導入シミュレーションに学習を入れる理由。手本で動くモデルが当たり前になっても、仕組みを分かっている人のほうが、うまくいかない原因を早く切り分けられる
きっかけは、4月に書いた考察記事 LOG126「Generalist AI GEN-0を解剖する。シミュレーション×実世界データの戦い」 だった。サイトのアドレスを移す前、この記事は「generalist ai」で検索されて半年で707回表示され、平均6.4位にいた。その続きを書こうと、同社の公式ブログの GEN-1 と GEN-1.5 の発表を読み直した。
4月から半年のあいだに、私自身も手元のロボットアーム mechArm 270 で、Physical Intelligence の π0.5 というロボット基盤モデルに手でお手本を集めて学習させてきた。お手本を何十回も集め、学習をクラウドの GPU で回し、失敗した試行に印を付けてきた身からすると、3秒の手本で初めての作業をやるというのは、手間の桁が違う。それが本当にすごいのか、どこに引っかかるのかを、Claude(Anthropic の AI)に問いを立ててもらい、答える形で整理した。
| 話したこと | 行き着いたところ |
|---|---|
GEN-1.5 を見て最初にどう感じたか | 思った以上に早い。個人の研究者が当たり前に使える日は、4月に見ていたより近い |
手本で動くモデルが当たり前になったら、自分で学習を回す意味は残るか | 学習は自分で使うためではなく、仕組みを理解するためにやっている。だからこれからも続ける |
仕組みを分かっている人と、分からずに使う人の違い | 59% のような数字を見たとき、どこに問題があるかを素早く切り分けられる |
シミュレーションの役割は変わったか | 当初の考えとは違う手法が次々に出ていて、役割は大きく変わりそう |
導入シミュレーションに学習を入れて何を超えたいか | ルールどおりに動かない人の動きを、入れる前に見えるようにすること |
半年たって、4月の締めの一文をどう言い換えるか | 個人として挑むというのは姿勢の話。気持ちは変わらない |
作業ログ ― Claude との対話を、そのまま残す
ここから下は、対話の全量です。私の答えを引用で、Claude の問いを太字で載せています。各節の後ろに、補足として、問いの前提にした数字と、あとで調べたことを足しています。記事化の段取りのやり取りは外しました。数字は、断りのない限り Generalist AI の公式ブログに書かれたもので、同社が自分で選んだ作業での評価です。外の機関が同じ条件で確かめた数字ではありません。
この記事に出てくる言葉
| 言葉 | ふだんの言葉で言うと |
|---|---|
| Generalist AI | ロボットの汎用の頭脳になるモデルを作っている、アメリカのスタートアップ。Google DeepMind 出身の Pete Florence が率いる |
| ロボット基盤モデル | いろいろな作業のデータで前もって学習させておき、あとから少しの追加で新しい作業に使い回せる、ロボット用の大きな AI。言葉の世界の大規模言語モデルのロボット版 |
GEN-0・GEN-1・GEN-1.5 | Generalist AI のロボット基盤モデルの世代の名前。2025年11月、2026年4月、2026年8月に発表された |
追加学習(ファインチューニング) | 前もって学習させたモデルに、自分の作業のデータを足して、中身(重み)を少し書き換えること |
| ワンショット学習 | 手本を1回見せるだけで、新しい作業をやらせること。GEN-1.5 では、手本を記憶の中に置くだけで、モデルの中身は書き換えない |
| 重み | 学習で決まったモデルの中身の数字の集まり。追加学習はこれを書き換える。ワンショット学習は書き換えない |
Physical Intelligence の π0.5 | アメリカの Physical Intelligence が公開しているロボット基盤モデル。このプロジェクトでは、mechArm 270 に手でお手本を集めて追加学習させている |
GEN-0 から GEN-1.5 までの半年で変わった数字
問いに入る前に、Claude が並べた前提の数字です。
| 世代 | 発表 | 前もって学習したデータ | 主な数字 |
|---|---|---|---|
| GEN-0 | 2025年11月4日 | 世界の家庭・倉庫・職場で集めた27万時間の操作データ | ロボットでもデータと計算を増やすほど性能が上がる、という法則(スケーリング則)を主張 |
| GEN-1 | 2026年4月2日 | 人が身に着けた安い記録機器で集めた50万時間超。ロボットのデータは入っていない | 6つの作業の平均成功率が、事前学習なし19%・GEN-0 64%・GEN-1 99%。箱の組み立ては12.1秒で、GEN-0 と π0 の約34秒の2.8倍速。作業ごとの追加のロボットデータは約1時間 |
| GEN-1.5 | 2026年8月19日 | GEN-1 の土台をさらに学習 | 3〜12秒の手本1回で、10種類の作業の平均59%(ばらつき±10%)。5分ぶん(約50回の手本)のデータで10回だけ重みを更新すると83%(±9%) |
GEN-1.5 の発表には、手本1回の「その場で覚える」力のほかに、いくつかの例が並んでいる。シミュレーションの中だけで記録した手本を見せて、実物のロボットを動かした。人の手の動きをロボットのカメラで見せて、ロボットの手で再現した。ブラシで学んだあと、バナナをブラシの代わりにして、ちりとりでブロックを掃いた。一方で同社は、成功率はまだ控えめで、作業は単純で短いものだとも書いている。手本1回で覚えた技は、追加学習したモデルより崩れやすいとも認めている。
GEN-1 は、早期に使える提携先にだけ提供されている。重みもコードも公開されていない。
GEN-1.5 は、4月に見ていたよりずっと早く「見せれば動く」所に来た
— GEN-1.5の「3〜12秒見せれば、初めての作業をやる」を見て、最初にどう感じましたか? この半年、mechArmでπ0.5に手でお手本を集めて学習させてきました。その実感から見て、これはどのくらい「本当にすごい」と思いますか。また、どこに引っかかりますか?
思った以上に早い成長だなと感じています。 まだ研究段階ですが、自分たちのような個人の研究者が当たり前に使えるようになるまでそんなに掛からなそうと思いました(当時は今のレベル到達にはまだまだ時間かかりそうと思っていたため)
補足。4月の LOG126 の時点で、GEN-0 は27万時間の実世界データで学習した、研究段階のモデルだった。ネジを瓶に詰める動画は自律で動いていたが、現場への導入はまだで、作業ごとに手本のデータを集めて追加学習させる前提だった。その半年後の GEN-1.5 は、手本の単位が「何十回、何時間」から「1回、数秒」に変わっている。
私の手元の作業と並べると、差の大きさが分かる。π0.5 を mechArm 270 で動かすために、手でアームを動かしてお手本を何十回も集め、クラウドの GPU を借りて追加学習を回してきた。初めて実機を動かした LOG361(フィジカルAI研究室 Log#6) では、爪がブロックに乗ってしまった。1つの作業を形にするのに、お手本集めと学習と確かめで何日もかかる。GEN-1.5 の数字は、その手間の大部分を「その場で見せる」に置き換えられる可能性を示している。
ただし、同社の評価で平均59%というのは、10回に4回は失敗するということでもある。 現場の仕事に入れるには、まだ足りない。それでも、4月に「当分先」と見ていた所まで半年で来たのは確かで、個人が当たり前に使える日の見積もりを、手前に引き直すことになった。
学習を自分で回すのは、自分で使うためではなく、仕組みを分かるため
— 3〜12秒のお手本で動くモデルを、個人が当たり前に使える日が近いとします。そうなると、この半年やってきたこと(mechArmで手でお手本を集め、π0.5に学習させ、失敗を手直しするデータを貯める)の意味は、どう変わると思いますか? 要らなくなる部分と、むしろ価値が上がる部分を分けて聞かせてください。
学習はあくまでも仕組みを理解するために行っていたのでこれからも行うと思います。 フィジカルAIに使われるモデルの理解はこれからも必要になるでしょうし。
補足。このプロジェクトの決まりごと(MASTER)には、学習・推論を自分で回すことを「必須の土台」と書いてある。大きな基盤モデルを一から作るのは大手の仕事だが、何が学習でできて何が難しいかを体で分かっていないと、現場で成り立つ使い方を設計できない、という考えからだ。GEN-1.5 のようなモデルが出ても、この考えは変わらない。
変わるのは、学習を回す目的の重みのほうだ。自分の作業のためのモデルを作ることが目的なら、手本で動くモデルが出た時点で、お手本集めの多くは要らなくなる。仕組みを分かることが目的なら、学習を回す価値は残る。むしろ、手本1回の結果がなぜ59%で止まるのか、5分のデータでなぜ83%まで上がるのかを、手を動かしたことのある側から読めるようになる。
モデルを分かっている人は、59% の原因を素早く切り分けられる
— GEN-1.5の数字をもう一度見ると、お手本1回だけなら成功率は平均59%、5分ぶんのデータで軽く調整すると83%です。さらに、お手本1回で覚えたことはその場限りで、モデルの中には残りません。店や病院がこういうロボットを入れたとき、モデルの仕組みを分かっている人と、分からずに「見せれば覚える」と思って使う人とでは、何が違ってくると思いますか? たとえば59%を見て、何を考え、何をしますか?
モデルがわかっていれば問題点や課題の切り出しが素早くできると考えています。 もちろんモデルを知らない人が行ってたまたますぐに解決できる時もあるとは思いますが、多くはモデルを理解して問題点を切り分けて考えられないと解決できないことが多いはずだと考えています。
補足。GEN-1.5 の「手本1回」は、手本を30秒ぶんの記憶の中に置いて動かすやり方で、モデルの重みは書き換えない。記憶から手本が外れれば、同じ手本をもう一度見せる必要がある。5分のデータで83%まで上げる方は、重みを書き換えるので残る。この違いを知らずに「一度見せたから覚えた」と思って使うと、前にできたことが次にできない理由が分からない。
失敗の切り分けは、このプロジェクトでも目の前の課題になっている。π0.5 の推論の記録176回のうち108回に、成功か失敗かの印がなかった。そこで、AI が先に判定を付け、人が確かめて確定する画面を作った(LOG512(フィジカルAI研究室 Log#36))。何回のうち何回うまくいったかを正しく数えられないと、59% が手本の問題なのか、置き場所やカメラの問題なのか、モデルの限界なのかを分けられない。
現場で見ると、切り分けの順番はたとえば次のようになる。
59% を見たときに確かめること | 何が分かるか |
|---|---|
失敗した回の映像に、共通する場面があるか | 手本に映っていなかった場面(物の向き・置き場所・明るさ)で崩れているかどうか |
同じ手本を見せ直すと、成功率が戻るか | その場限りの記憶が切れたのか、作業そのものが難しいのか |
5分ぶんの手本で重みを更新すると上がるか | 手本の量で足りる問題か、モデルの得意な範囲の外か |
ロボットの手や速さを変えずに、置き方だけ変えると上がるか | ロボットの側ではなく、現場の段取りで直せる問題か |
シミュレーションの役割は、4月に考えていたものから大きく変わりそう
— day126では、R2R2Rの「シミュレーションと実機を行き来してデータを作る」やり方を、NVIDIAのGR00Tと同じ方向だと書いていました。一方のGeneralistは、GEN-1でも、土台のモデルにロボットのデータもシミュレーションも使わず、人が身に着けた記録機器の50万時間だけで学習しています。この1年で、シミュレーションの役割についての考えは変わりましたか? 今、サービスロボット導入シミュレーションに力を入れているのは、ロボットに学習させるためとは別の理由がありますか?
シミュレーションの役割については大きく変わってくそうかなとは考えています。自分が当初考えていたやり方とは全く違った手法がさまざま出てきているからです。
サービスロボット導入シミュレーションにも学習が必要を考えています。コードやアルゴリズムだけでは超えられない壁を学習で超えて今までとは違うレベルのシミュレーションにできればと考えています。
補足。4月の LOG126 では、Generalist AI はシミュレーションや合成データを一切使わない実世界データの陣営で、NVIDIA の GR00T はシミュレーションと合成データの陣営だと整理した。R2R2R の「シミュレーションと実機を行き来してデータを作る」やり方は、後者に近いと書いた。
GEN-1.5 の発表には、その整理を揺らす例が入っている。前もって学習した中にシミュレーションのデータはないのに、シミュレーションの中だけで記録した手本を見せると、実物のロボットがその作業をした。シミュレーションを「学習データを大量に作る場所」として使うのではなく、「手本を見せる場所」として使える可能性がある。シミュレーションの使い道が1つに決まらなくなった、というのが半年での変化だ。
このプロジェクトのサービスロボット導入シミュレーション(/series8)は、配膳ロボットや病院の搬送ロボットを入れる前に、待ち時間や人の動きを Unity の3Dで試す取り組みで、ロボットに学習させるためのものではない。そこにも学習を入れる、というのが、この対話で初めて言葉になった方針になる。
導入シミュレーションに学習を入れるのは、ルールどおりに動かない人の動きを先に見るため
— 「コードやアルゴリズムだけでは超えられない壁」とは、今の導入シミュレーションで言うと、たとえば何ですか? ファミレスや病院のシミュレーションでは、人の動き・混み方・ロボットが止まる場面などをルールで書いてきました。学習を入れるなら、何を学習させて、何が今までと違って見えるようにしたいですか?
人の動きはルール通りにならないことが多々あると思っています(その再現はアルゴリズムではできなそう)それを予見する、事前にわかるようにするのがシミュレーションお役目だと思っています。
補足。いまの導入シミュレーションでは、店員や患者、看護師の動きを、「料理ができたら運ぶ」「通路で人とすれ違うときは待つ」のようなルールで書いている。ルールで書いた人は、ルールの外には出ない。実際の店や病院では、人は近道をし、立ち止まって話し込み、ロボットの前を横切る。ロボットが現場で止まるのは、たいていこのルールの外の動きと出会ったときだ。
GEN-1.5 は、人が身に着けた記録機器の50万時間から、人がどう物を扱うかを学んだ土台の上にある。同じ考え方を、ロボットの手ではなく、シミュレーションの中の人の動きに向けられないか、というのがこの答えの中身になる。人の動きのデータから、ルールでは書ききれない動き方を学ばせ、ロボットを入れる前に「どこで、どんな人の動きとぶつかって止まるか」を見えるようにする。何のデータを集め、どう学ばせるかはまだ決めていない。今の時点では方向だけが決まった。
- ねらい:ルールで書いた人の動きでは出てこない、ロボットが止まる場面を、入れる前に見つける
- 変わること:シミュレーションの中の人の動きを、ルールで書くものから、データで学ばせるものへ広げる
- 見込める効果:見込み。導入した後に「想像と違った」と分かる止まり方を、試算の段階で減らせる。どれだけ減るかは、実際の現場の記録と照らして確かめる
4月の締めの一文は、言い換えずにそのまま残す
— 4月のday126は「NVIDIAと同じ問いに、個人として挑む」で締めていました。半年たった今、同じ一文で締めるとしたら、どう言い換えますか? GeneralistやNVIDIAのような大きな会社と並べたとき、Pixels to Motorsはどこに立っていると言いますか?
あくまでも姿勢の話なので個人として挑むというのは大袈裟ですが、今も気持ちは変わりません。
補足。Generalist AI は、2026年6月に4億ドルを調達したと発表している。個人の研究と並べて規模を比べる意味はない。比べられるのは、問いの立て方だけだ。同社は、ロボットがどう学べば現実の作業ができるようになるかを問い、データの集め方とモデルの大きさで答えを出している。このプロジェクトは、そうして作られたロボットが、現場で人に受け入れられて使い続けられるかを問い、シミュレーションと実機の記録で答えを探している。
半年で、ロボット基盤モデルの側は「見せれば動く」所まで来た。それでも、平均59%を現場の仕事に足りる数字に変えるのは、モデルの外側の仕事になる。どこで失敗しているかを切り分け、現場の段取りを直し、人の動きを先に見ておく。モデルの仕組みを分かったうえで、その外側を引き受ける。
半年で変わったのは手本の長さで、変わらないのは現場で使い続けられるかという問い
2026年4月(LOG126) | 2026年11月(この記事) | |
|---|---|---|
Generalist AI のモデル | GEN-0。作業ごとに手本を集めて追加学習 | GEN-1.5。3〜12秒の手本1回で平均59%、5分のデータで83% |
| 個人が使える日の見立て | まだまだ先 | 4月に見ていたより近い |
| 自分で学習を回す理由 | 学習・推論は必須の土台 | 仕組みを理解するため。手本で動くモデルが出ても続ける |
| シミュレーションの役割 | 学習データを作る場所(NVIDIA と同じ方向) | 使い道が1つに決まらなくなった。導入シミュレーションの人の動きにも学習を入れたい |
| 締めの一文 | NVIDIA と同じ問いに、個人として挑む | 姿勢として、気持ちは変わらない |
ロボット基盤モデルが「見せれば動く」所まで来ても、現場で使い続けられるかを決めるのは、うまくいかなかった1回をどう切り分け、どう直すかのほうだ。 その仕事をするために、仕組みを分かる学習は続ける。
出典
- Generalist AI, GEN-0 / Embodied Foundation Models That Scale with Physical Interaction(2025年11月4日)
- Generalist AI, GEN-1 / Scaling Embodied Foundation Models to Mastery(2026年4月2日)
- Generalist AI, GEN-1.5 / Embodied Foundation Models are One-Shot Learners(2026年8月19日)
- Generalist AI, Accelerating the next phase of physical AI(2026年6月4日・資金調達の発表)
- LOG126 Generalist AI GEN-0を解剖する。シミュレーション×実世界データの戦い(2026年4月3日)