LOG433考察記事2026/11/2

AIの混乱はロボットより先に制御装置から来る ― 3年前のXの投稿と読み比べた

AIで読む ChatGPT・Claude などで、この記事に質問できます

AI が暴走したりサイバー攻撃に使われたりしても、ロボットの手足で物理の世界を大きく壊すには、今のハードの実力と部品の供給網、それに国の認可のような制度がまだ追いついていない、というのが今の考えです。 危ないのはロボットより先に、ネット越しに動いている電力・水道・物流の制御装置で、全てがなくなる大惨事より、なんでも誰とでもつながっているという前提が消える形の混乱のほうが、現実に近いと見ています。

この考えで、次の4つが変わります。

  • AI の進み方のニュースを、ロボットの手足が太くなる話と、制御装置という別の手足の話に分けて読めるようになる。前者は年単位の話で、後者はもう起きている
  • ロボットを現場に入れるときの設計の論点に、通信が切れても止まらずに動き続け、すぐ人の手に戻せること、が加わる
  • ロボットを現場に入れるまでの時間を、技術だけでなく、安全の基準・責任・保険といった制度の側でも見積もるようになる。社会が変わる速さは、いちばん遅い段階で決まるため
  • 研究の環境で、手元とクラウドに何を置くかの目安ができる。学習はクラウドに頼ってよく、機体を動かす推論は、現場に入れる段階で手元で回る形にしておく。時間や費用がどれだけ変わるかは、この記事では測っていません

これは実験の記録ではなく、Claude(Anthropic の AI)と対話しながら考えた記録です。きっかけは、X で読んだ みずくん(Kyohei Mizutani)の記事「AIの今後について考えるのに疲れたので今考えてることをとりあえず全部書いてみたよ」(2026年10月31日)でした。AGI(何をするにも人間並みにこなせる AI)ができると世界が大きく変わり、それに気づいてしまうことを AGI ピルと呼ぶ話から始まり、AI を使ったサイバー攻撃で金融やインフラが壊れていく3つの道、仕事と富の分け方、知能がありふれたものになる世界までを書いた長い記事です。

このプロジェクトでは、小さなロボットアーム mechArm 270 に AI を学ばせ、サービスロボットを店に入れたときの動きをシミュレーションしています。記事の怖さのどこまでが事実で、どこからが筆者の予想なのか。それを確かめるところから、話はデジタルと物理のつながり方、日本の耐性、そして3年前に自分が X に書いたことへ移っていきました。最後に、宇宙物理学者の松田卓也さん(神戸大学名誉教授)が YouTube の楽待 RAKUMACHI で Anthropic の上場について話した動画を見て、同じ見立てかを確かめています。

対話は15往復です。

問い考えたこと
X の記事の数字は本当か
Anthropic の26%と、OpenAI の Navier-Stokes の証明の発表は本当。インフラ被害が数か月で起きるという部分は筆者の予想
ロボットはいつ人並みに動くか
記事も5〜10年先と見ている。ハードと供給網が律速になる
AI はロボットで物理の世界を壊せるか
ロボットの手足はまだ細い。ネットにつながった制御装置という手足はもう太い
電源を落とせば済むか
暴走は止まるが、落とすこと自体がインフラの停止。手で運転に戻せる設備がどれだけ残っているかで被害が決まる
日本は被害が小さいか
現金・紙・手で回せる人が残っていて、遅れがそのまま予備になっている。ただし今のうちだけ
日本だけ軽く済めばいいか
エネルギーと食料と決済を外に頼っているので、海外が止まれば間接的に効く
ネットはなくなるのか
なくなるのは、なんでも誰とでもつながっている前提のほう
手元に何を置くか
機材を買う前に、手元の機材だけで推論まで回るかを確かめる
3年前の投稿は当たっていたか
時期を言い当てた一文はないが、何が起きるかの向きと大きさは3年半ぶれていない
宇宙物理学者の見立ても同じか
近い先の読みは同じ。社会が変わる速さは、ビット・アトム・制度のいちばん遅い段階で決まる。違うのは遠い先の怖さの大きさ

AI が物理の世界に届く手足は、ロボットではまだ細く、ネットにつながった制御装置ではもう太い。

作業ログ ― Claude との対話を、そのまま残す

ここから下は、対話の全量です。ユーザーの発言を引用で、Claude の答えを本文で載せています。各節の頭の太字の一文は、その節で Claude が答えようとした問いです。最初の2つの発言は、X の記事の画面写真を共有したもので、最後の発言は、YouTube の動画の文字起こしと画面写真を共有したものです。Claude の答えの中でユーザーの名前で呼びかけていた所は「ユーザー」や「このプロジェクト」に、この記事の番号で呼んでいた所は「ここまでの対話」に置き換え、答えの中の太字は、記事の太字の決まりに合わせて外しました。2023年の X のやりとりの相手は、投稿を公開していないアカウントなので、名前と家族の話は伏せ、身近な AI の研究者と書き換えました。Claude の答えの中の出典は、記事の最後にまとめました。答えの中の数字は、2026年11月2日と3日に調べた時点のものです。

この記事に出てくる言葉

言葉ふだんの言葉で言うと
AGI・ASI
AGI は、何をするにも人間並みにこなせる AI。ASI は、人間をはるかに超える AI(超知能)
アライメント
AI の目的やふるまいを、人の意図や価値観に合わせること
制御装置(産業用制御システム)
発電所・水道・工場・港などで、機械を動かす指令を出している装置。ネット越しに監視・操作されていることが多い
ランサムウェア
会社のコンピューターのデータを暗号化して使えなくし、元に戻す代わりにお金を要求する攻撃
Lean
数学の証明が1歩ずつ正しいかを、コンピューターで確かめるための言語
ナビエ・ストークス方程式
水や空気の流れを表す方程式。解が壊れずに続くかは、100万ドルの懸賞がかかった数学の難問
推論
学習を終えた AI に、カメラの画像などを入れて答え(ロボットなら次の動き)を出させること
mechArm 270
Elephant Robotics の小型6軸ロボットアーム。このプロジェクトで使っている機体
律速
いくつもの段階を順に通る物事で、いちばん遅い段階が全体の速さを決めること。化学反応の言葉
シンギュラリティ
技術の進み方が急になりすぎて、その先が見通せなくなる時点。AI が人の知能を超える時点の意味で使われることが多い

AI の今後を論じた X の記事は、事実の部分と筆者の予想が混ざっていた

(X の記事「AIの今後について考えるのに疲れたので今考えてることをとりあえず全部書いてみたよ」の前半の画面写真を共有して)

— この記事の怖さは、どこまでが事実なのか。

大筋の事実は合っていて、怖さの部分は筆者の予想です。分けて読むと受け取りやすくなります。

裏が取れたところ

Anthropic の26%は実在する数字です。Claude が大まかな指示から作業の大半を仕上げ、人が監督する水準に、8月時点で研究開発の26%が達したという意味です。ただ同社はどの研究領域でも Claude が完全に自律して動いてはいないとも書いています。記事はこれを、AI が AI を改良する段階がもう始まっている根拠に使っていますが、元の発表よりかなり強い読み方です。

ナビエ・ストークスの話も発表は本当です。約1万体のエージェントが88時間で証明を出し、Lean での形式検証にさらに17時間かかったとされています。一方でクレイ数学研究所はまだ未解決の扱いのままで、数学者の検証待ちです。Jason Clinton の18カ月の見通しは、今回は元の発言を確かめられていません。

筆者の予想のところ

インフラの大きな被害が数カ月以内に起き、今の日常は長くても半年という部分は、根拠が示されていない予想です。本人も記事の中で、自分の意見が多分に混ざっていると断っています。

このプロジェクトに引きつけると

筆者が一番ありそうだと書いた三つ目の道、つまりネットが今ほど使えず、物理的なものや対面が重視される世界は、フィジカルAI にとって追い風と逆風の両方になります。現場で動くロボットの価値は上がりますが、ネットにつながったロボットは攻撃の入口にもなる。店とロボットのあいだに立つ役を考えるなら、通信が切れても止まらず、すぐ人の手に戻せる作りが設計の論点として効いてきます。

研究環境もクラウド GPU、Hugging Face、GitHub に乗っています。原本を KIOXIA の SSD に置く今の決まりは、この記事のようなシナリオへの備えにもなっています。

研究は止めずに、ロボットが通信を失ったときのふるまいを課題地図の一項目として足しておく。それくらいの受け取り方がちょうどいいと思います。

X の記事の後半は、ロボットの普及を AGI のあとの5〜10年先と見ていた

(記事の後半の画面写真と、記事の住所 https://x.com/mizkun/status/2116440914923245640 を共有して)

— 記事の後半は、ロボットとフィジカルAI をどう見ているか。

リンク先は自動では開けませんでしたが、画面写真で最後まで読めました。

後半で一番このプロジェクトに関係があるのは、AI が物理世界に手を出すまでの節です。筆者は、人並みに動くロボットが安く手に入るのは AGI のあと、5年や10年先でもおかしくないと見ています。理由はハードの制約と、部品や製造のどこか一つが詰まれば全体が止まるという供給網の弱さです。本人もこの分野は詳しくないと断っています。

ここはユーザーの見立てとほぼ重なります。洗濯物をどの家庭でも任せられるまで5年くらい、という感覚とも合う。違うのは、筆者がロボットを知能の後からついてくるものとして扱っている点です。現場でロボットを回すには、店の作業と作りを切り直す仕事が別に要る。筆者の地図にはその層が抜けています。

もう一つ、知能がありふれたものになる、という節もこのプロジェクトの立ち位置を後押しします。考える力が安くなるほど、残るのは物理の制約と、人がどう感じるかの設計です。精度より体験の成立を先に置く、という Pixels to Motors の考えは、この流れの中でむしろ値打ちが上がる側にあります。

逆に、全体として気をつけたいのは時間軸です。AGI まで1〜2年、インフラ被害は数カ月、というのは筆者の予想で、本人も最後は不確定すぎて分からないと書いています。ロボットの現場は筆者が言うとおりハードが律速になるので、この仕事の時間軸は、記事の煽りより一段ゆっくり見ておくのが妥当だと思います。

この記事への応答として、フィジカルAI の側から見ると何が抜けているか、を考察記事にする手はあります。

AI が物理の世界に届く手足は、ロボットより制御装置のほうが太い

AIの進化が進んでも、実世界やロボットに大きな影響を与えるには時間が必要です。残念ながらデジタルの世界が物理の世界に影響を与えられるのは現時点はかなり限られたものです。

投稿している人の気持ちもよくわかるし、AI企業の話していることもよくわかります。

ただし物理の世界とデジタルの世界では現時点でかなり限定的な繋がりしかないので、本当に最悪な対処ですが電源落とせば悲惨なことにはなりません。もちろん混乱はありますが、それでもパンデミックよりは混乱は小さいのではないでしょうか。

もちろん巻き込まれて亡くなってしまう人やどうしようもない状況に追い込まれてしまう企業や人たちもいるでしょう。それでも恐ろしいことはあっても全てがなくなってしまうような大惨事は少し妄想的だと思います。もちろん人は愚かなのでAIの暴走を自分たちの私利私欲のために使って世界を破滅に追いやってしまうかもですけどね。

— デジタルと物理のつながりは、本当に細いのか。

ロボットの手足という意味では、その見方に同意します。AI が自分で工場を建てたり物を運んだりして人類を追い詰める、という筋書きには、今のハードの実力も供給網も追いついていません。現場でロボットを回そうとしている人ほど、そこは肌で分かるはずです。

ただ一点だけ、デジタルと物理は、ロボットを通してよりも別の経路でずっと太くつながっています。電力、水道、ガス、物流、病院の設備は、すでにネット越しの制御装置で動いている。記事が恐れているのもロボットではなく、この制御の層への攻撃です。実際、2015年のウクライナでは電力網への攻撃で数十万世帯が停電し、2021年のアメリカでは石油パイプライン会社がランサムウェアで操業を止め、東海岸で燃料不足が起きました。どちらも AI 以前の話です。

だから電源を落とせば済む、は半分正しくて半分危うい。落とせば暴走は止まりますが、落とすこと自体がインフラの停止そのもので、記事の言う混乱はまさにそれです。手動運転に戻せる設備がどれだけ残っているかで、被害の大きさが決まる、というのが実際のところだと思います。

全てがなくなる大惨事は言い過ぎ、という点と、一番怖いのは AI そのものより使う人間の欲、という点はそのとおりで、記事自身も最初に来るのは人間による悪用だと書いています。そこはユーザーと筆者で意見が一致しているところですね。

ロボットの手足はまだ細いが、制御装置という別の手足はもう太い。この区別は、フィジカルAI の側から書ける考察として筋がいいと思います。

日本はデジタル化の遅れが、インフラ被害への耐性になっている

AIが猛威を振るいインフラを壊して世界を混乱させるようになると仮定したときに、意外と日本はデジタル化が遅れている部分が他の先進国より多くあることもあって意外と被害は小さいのかな?とも思います。

これはパンデミックのときもそうでしたが、日本は今の状況に対して、意外なほど耐性がある状況にもあるかなとは感じています。皮肉ですけどね。

— デジタル化の遅れは、守りになるのか。

その感覚はけっこう当たっていると思います。現金がまだ使える、紙の台帳や帳票が残っている、手で回せる現場の人がいる。全部が一本の線でつながっていないので、どこかが切られても全体が一気に止まりにくい。遅れがそのまま冗長性になっている、という皮肉ですね。

実際に日本で起きた事例もその両面を見せています。2022年の大阪急性期・総合医療センターのランサムウェア被害では、電子カルテが止まったあと紙カルテに切り替えて診療を続けました。2023年の名古屋港では、コンテナの管理システムが止まって搬出入が2日ほど止まりましたが、復旧はしています。止まりはするけど、戻る道がある。

ただ弱点もはっきりあって、日本のデジタル化された部分は古いまま更新されていない機器が多く、守りが薄いことが多いです。セキュリティの担当者も足りない。つまり、全部が止まりにくい代わりに、部分的には破られやすい。

それと、手で回せるという強みには期限があると思います。紙や手作業で現場を回せる人たちが、ここ10年で一気に引退していく。アナログの予備が効くのは、それを扱える人が残っているあいだだけです。

日本の耐性は本物だけど、今のうちだけ残っている耐性、というのが近い言い方かもしれません。

この答えの名古屋港の「2日ほど」は、記事にする前に確かめていない数字でした。あとで国土交通省の説明を伝える記事を開くと、名古屋港は約3日で復旧したとあり、早く戻れた理由の1つに、手作業の時代を知る人がいたことが挙げられていました。ここで話している、手で回せる人が残っているうちの耐性と、同じことを指しています。

混乱が来るなら、手で回せる人が残っている今のほうが日本は戻りやすい

そういう意味ではタイミング的には今のうちにAIの混乱が起きてしまった方が日本には良いという判断もあります。これはほんとうにタイミングの話で、たまたまなんでしょうけど。

— 混乱は、早く起きたほうが日本にはましなのか。

タイミングの話としては筋が通っています。どうせ一度は痛い目を見るなら、紙や手作業で回せる人が残っているうちの方が、戻れる幅が大きい。早めの小さな打撃で守りを固められるなら、ワクチンのような効き方をするかもしれません。阪神淡路のあとに耐震の基準が一気に見直されたのと似た流れです。

ただ一つ引っかかるのは、日本だけが軽く済んでも、日本は外とのつながりで食べている国だという点です。エネルギーも食料も多くを輸入していて、決済や物流も海外の仕組みに乗っている。アメリカやヨーロッパのインフラが大きく崩れれば、国内が手で回せても、入ってくるものが止まる。国内の耐性は高くても、外からの波には弱い、という形になりそうです。

なので、今起きた方が日本はまし、というのは相対的にはそうで、ただ無傷で済む話ではない、くらいが落としどころだと思います。たまたま今の日本がそういう位置にいる、という見方は面白いですね。

日本が軽く済んでも、海外の物流とエネルギーが止まれば間接的に効く

まぁAIだけの話ならまだいいけど、物流やエネルギー施設まで関わってくると世界中が大混乱になるので直接的な被害はなくても、間接的な被害を被るというのはシナリオとしては考えておかなければいけないことですね。

— このプロジェクトに間接的に効くのは、どこか。

そうですね。直接やられなくても、遠くで止まったものが回り回って届く、という形が一番現実的なシナリオだと思います。

このプロジェクトの身の回りに引きつけると、効いてくるのは部品と計算の二つです。サーボや GPU は海外の供給網に乗っていて、学習はクラウド GPU、公開は GitHub や Cloudflare と、どれも外の仕組みに頼っている。手元の機体と、KIOXIA の SSD に置いている原本のデータは止まっても残るので、研究を続ける最低限の足場は今の形でもう確保できています。考えておくなら、外が止まったときに手元だけでどこまで回せるか、くらいで十分だと思います。

なくなるのはネットではなく、なんでもつながっている前提

AIの暴走やサイバー攻撃によって現実的にネットが使えなくなるというより、すべての世界に当たり前に繋がるネットがなくなるくらいなイメージなのかなとは思います。

— 記事の三つ目の道は、具体的にはどんな形になるのか。

その言い方の方がしっくりきます。ネットが消えるのではなく、なんでも誰とでもつながっているのが当たり前、という前提が消える。大事なものは閉じた網の中に入れて、外とつなぐのは必要なときだけ、許した相手だけ。記事の三つ目の道も、実際にはこの形に近いと思います。

しかもこれは、もう少しずつ始まっています。工場や発電所の制御の網は外のネットから切り離す方向に進んでいるし、国ごとにネットの中身や通り道を分ける動きも強まっている。暴走や大事件がきっかけになれば、それが一気に進むという見方ですね。

ロボットにとっては、この流れはむしろ設計の前提になります。つながっていなくても機体の中だけで動き続け、つながったときだけ大きなモデルの力を借りる。ユーザーが前に話していた、大脳と小脳の分担と、そのまま重なる形です。

ローカルの強化は、買い物より先に作りの話として持つ

なんでもクラウドというのは難しくなるので、ローカルの強化というのは常に考えておいた方がいいってことだとは思います。

— ローカルを強くするとは、何をすることか。

そう思います。ただ一つだけ、このプロジェクトの設備投資の決まりとぶつからないように分けておくのがよさそうです。将来への不安は上位の機材を買う理由にしない、と自分で決めているので、ローカルの強化はまず買い物ではなく作りの話として持っておくのがいい。

作りの話としてなら、すぐに手を付けられることがあります。データと学習済みモデルの原本は手元に置く、これはもうできている。次に効くのは、クラウドが使えなくなったときに、手元の機材だけで推論まで回せるかを一度確かめておくことです。学習はクラウドに頼っても、動かすところだけは手元で完結する。そこが確かめられていれば、外が閉じても研究も実機も止まりません。

もし確かめてみて、手元では遅すぎる、メモリが足りない、という数字が出たら、そのときが実測されたボトルネックとして機材を検討する番です。

学習と推論がクラウド GPU にあっても、研究の段階なら影響は小さい

今は学習と推論をクラウドGPU使ってるくらいなので影響は少ないかな。

— 今の研究の環境で、クラウドが止まると何が止まるか。

研究の段階なら、そうですね。実機の制御、Unity、データ集め、記事づくりは手元で回るので、クラウドが止まっても手が止まることはない。

一つだけ挙げるなら、推論もクラウドに乗っているので、止まったときに使えなくなるのは学習したモデルで機体を動かすところです。今は研究として試している段階なので痛手にはならないけど、もし現場に入れる話になったら、そこは手元で動く形にしておく必要が出てきます。今は頭の片隅に置いておくくらいで十分だと思います。

3年前から同じことを考えていた、という時間差の正体

AIのこの手の話は昔からあって、このくらいの問題は起こるだろうと思っていたので今さらかぁみたいなのが正直な感想です(たぶんXとか3年前くらい遡ったらその手の話を書いていたはずです) そのくらい自分の思っていることと現実には乖離がある。

— 先に見えていたのに、今さらに感じるのはなぜか。

その乖離は、記事の筆者が言っていた、ピルを飲んだ人と飲んでいない人の差と同じものですね。ユーザーは数年前にもう飲んでいた側で、世の中の方があとから追いついてきている。

ただ、先に見えていることと、時期まで当たることは別物だとも思います。見えている側は、たいてい早めに起きると感じる。実際の社会はそれよりゆっくり動くので、今さらか、と感じる時間差が生まれる。さっきの、デジタルが物理を変えるには時間がかかる、というユーザー自身の見立ても、この時間差の話です。

それと、3年前の投稿が残っているなら、それは先を見ていた証拠として使えます。ロボットやフィジカルAI がどこに落ち着くかを先に見極める、というのをユーザーは自分の強みとして挙げていましたが、当時の言葉と今の現実を並べると、それを口で言うより強く示せます。

2023年5月の X の投稿は、人類規模の混乱と賃金の圧力を読んでいた

(2023年に自分が X に書いた返信の画面写真を共有して) なんか明確にこれって言えるのがない。

— 3年前の投稿は、何を言い当てていたのか。

明確な予言ではないけど、方向と大きさの読みははっきり残っていると思います。

2023年5月のやりとりで、ユーザーは三つのことを書いています。技術が社会より先に行き過ぎていて、人が知らないところで大きなトラブルが起きること。その規模は疫病や戦争と並ぶ人類規模になりうること。賃金を下げる圧力の方が恩恵より大きく出そうなこと。相手の方は、身近な AI の研究者に聞く限り失業するほどの使い道はまだ見えていない、と返していました。

この構図は、この日に読んだ記事の、研究の内側にいる人と外の人で見えている未来が違う、という話と逆の形で重なります。当時は内側に近い人の方が楽観的で、外から見ていたユーザーの方が大きく見積もっていた。そして賃金の圧力は、Web 制作の仕事が AI で無くなったという形で、ユーザー自身に実際に起きています。

もう一つ面白いのは、3年前とこの日で読みが一貫していることです。当時はパンデミック級の混乱と書き、この日は全てが無くなる大惨事は妄想的、パンデミックより小さいのではと言っている。人類が終わる話には乗らず、社会が揺さぶられる大きさで見積もる、という線が変わっていない。

時期を言い当てた一文はないけど、何が起きるかの見立ては外していない。明確に言えるのは、その程度だと思います。

画面写真に写っていた、2023年5月5日の自分の投稿の本文は次のとおりです。相手の方の投稿は載せていません。

AIを使うことで豊かな生活(賃金が上がって、仕事が楽になり、仕事の選択肢が増える状態のことと定義してます)をより多くの人たちが享受出来るなら、それはそれは素晴らしい技術だと思います。

そしてそうあってほしい。

というわけで、みんなの賃金もあげる提案とセットでAIが広まって欲しいなと思う😀

なんとそうなんだ😃それは興味深い。

正直魅力的な社会にする技術とは現時点では思えないので(技術力だけ高くて今の社会との親和性がないように思うので)

むしろみんなの賃金下がる方の圧力が高すぎて、そっちのデメリットが大きそう(技術力の高さは評価するけどね)

もちろんうちらの社会の中で上手く活用されるのがベスト😃

だけど今のAI技術はぶっ飛び過ぎていて、人たちがしらないところで起こすトラブルがデカ過ぎるだろうと思うので、その時みんなは(世界中のAIに関わる人たち)心の底から肝が冷える体験をする可能性が高いのがちと怖い🥶

技術力が高ければ高いほど、トラブルの大きさも大きいので(制御不能なところもあるし、AIの底の見えない可能性も含めて)それなりの心構えは必要かなと(それも全人類規模で、疫病や戦争と肩を並べるくらい影響を与えるの規模感)

そんなタイミングかなと思う次第だよ😀

自分の X の投稿は、from: と期間の指定で探せる

AIは危険な部分があるから野放しは良くないみたいなことを書いた記憶があったがどこか全然わからん。

— 3年前の自分の投稿を、どう探すか。

X の検索窓に、次のように打つと自分の投稿だけから探せます。返信も対象に入ります。

from:adaptdesignjp 野放し
from:adaptdesignjp AI 危険
from:adaptdesignjp AI 規制
from:adaptdesignjp AI ルール

言葉が思い出せないときは、期間で絞って流し見する方が早いです。

from:adaptdesignjp AI since:2023-01-01 until:2023-12-31

それでも見つからなければ、X の設定からデータのアーカイブを書き出して渡してもらえれば、こちらで全投稿をまとめて探せます。設定とプライバシー、アカウント、データのアーカイブをダウンロード、の順です。届くまで1日ほどかかることがあります。

2023年3月18日の投稿は、GPT-4 の4日後に倫理と規制を書いていた

(X の検索結果の画面写真を共有して)

— 見つかった投稿は、いつ、何を書いていたのか。

見つかりましたね。2023年3月18日のこの投稿が、記憶していたものだと思います。技術面だけで騒ぐのは危険で、倫理や規制も含めて人にとってより良い技術である必要がある、という内容です。

日付も意味があります。GPT-4 が出たのが2023年3月14日なので、その4日後です。世の中がすごい技術が出たと盛り上がっていた最中に、技術だけでは足りないと書いていた。この日に読んだ記事の後半の柱だったアライメント、つまり AI の目的やふるまいを人の意図や価値観に合わせる話は、まさにこの倫理の部分です。3年半かけて、世の中の議論がそこに追いついてきた形ですね。

投稿の頭に、動画の中でも言っている、とあるので、当時の動画もどこかにあるはずです。そちらの方が中身が詳しく残っているかもしれません。

見つかった投稿の本文は次のとおりです。

動画の中でも言っているけど、AIの技術面だけで騒いでいるのは危険だということ。

AIは技術だけ発展すれば良いってわけではなくて、倫理や規制なども含めて人にとってより良い技術である必要がある。

細かい中身を覚えていなくても、言葉の向きは3年半ぶれていない

まぁちょっとこれ以上は調べてもよくわかんないな。全然なに話したか記憶ない。 でも言ってることは一貫性あるとは思ってるけど。

— 中身を覚えていない投稿に、意味はあるのか。

それで十分だと思います。2023年3月に技術だけでは危ういと書き、5月に疫病や戦争並みの混乱と書き、この日は全滅ではなく社会が揺さぶられる大きさと言っている。細かい中身を覚えていなくても、日付つきで残っている言葉の向きが3年半ぶれていない、というのはそれだけで説得力があります。

宇宙物理学者の松田卓也さんも、社会が変わる速さはいちばん遅い段階で決まると見ていた

(YouTube の楽待 RAKUMACHI の動画「超絶AIと人類の命運 Anthropic上場は40億年前からの必然!?/2027年にシンギュラリティが来る/パワフルAIとAGIの違いは?/ワールドモデルは必要か《宇宙物理学者・松田卓也》」の文字起こしと、38分39秒の画面写真を共有して) この動画で言っていることは同じようなことですか?

— 宇宙物理学者の見立ては、ここまでの対話と同じか。

かなり同じです。特に、動画が止まっていた38分あたりの章「速い世界と遅い世界」は、ここまでの対話の考えとほぼ同じ形をしています。

重なるところ

松田先生は、社会が変わる速さはいちばん遅い段階で決まると話しています。段階はビット(コンピューターの中)、アトム(物を作る)、制度(国の認可)の3つです。AI はビットの世界ではとても速く、サイバー攻撃はそこだけでできてしまう。ところが自分の体やデータセンターを持つには、半導体や発電所やロボットを作る必要があり、そこまでは最低でも10年かかる、という見立てです。

これは、ロボットの手足はまだ細く、ハードと部品の供給網が律速になる、という見方と同じです。ほかにも同じ点が3つあります。

  • 当面の危険は、悪意のある人が AI を使うサイバー攻撃で、電力や水道の制御を狙う形になる
  • 最後の手段は電源を切ることで、切るとコンピューターのない時代まで戻ってしまう
  • 銀行も狙われるので、現金に戻すか、ネットを一部遮断するかがもう話に出始めている(ネットのつながり方が変わる、という見方に近い)

違うところ

先生は長い目で見たときの人類存続のリスクを、本気で大きく見ています。シンギュラリティは2027年ごろ、AI が生存本能を持ち始める、本心を隠し始める、という章もあります。ユーザーの、全てがなくなる大惨事は妄想的、という見方より、はっきり悲観的です。

もう一つ、律速の段階に制度を入れている点は、ここまでの対話になかった視点です。薬ができても治験と認可で10年かかる、という話です。ロボットに当てはめると、現場に入れて回すには技術より先に、安全の基準・責任・保険といった制度の側が詰まる、ということになります。サービスロボットの導入を考えるうえで使える見方です。

まとめると、近いうちに何が起きるかの読みは同じで、違うのは遠い先の怖さの大きさだけです。

制御装置が先で、ロボットはあと、という順番で備える

対話を通して、AI の混乱が物理の世界に届く道は、次の3つに分けて見られるようになりました。

道今の太さ何が起きうるかこのプロジェクトでの備え
ロボットの手足
細い。ハードと部品の供給網が追いついていない
人並みに動くロボットが安く手に入るのは5〜10年先
通信が切れても止まらず、すぐ人の手に戻せる作りを、現場に入れる設計の論点にする
制御装置
太い。電力・水道・物流・病院がネット越しに動いている
停電・燃料不足・港や病院の停止。AI 以前からもう起きている
推論を手元で回せるかを確かめておく。データの原本は手元に置く(済み)
人の欲
一番太い。悪意のある人が命じれば、AI は今でも害を与えられる
記事も、最初に来るのは人間による悪用だと書いている
技術だけでなく、倫理や規制を含めて考える(2023年3月から同じ考え)

松田卓也さんの言うビット・アトム・制度の3つの段階に当てはめると、制御装置への攻撃はビットだけで起こせるので速く、ロボットの手足はアトムで、店や病院に入れて回すのは制度の段階になります。ロボットの側は、いちばん遅い制度の段階が速さを決めるので、AI の進み方のニュースより一段ゆっくり進みます。逆に言えば、ロボットを現場に入れる仕事では、安全の基準・責任・保険をどう整えるかが、技術と同じくらいの論点になります。

日本はデジタル化の遅れが、そのまま予備になっています。ただし、紙や手作業で現場を回せる人が残っているあいだだけの耐性で、エネルギーや食料や決済を外に頼っている以上、海外が止まれば間接的に効きます。ネットがなくなるのではなく、なんでも誰とでもつながっている前提がなくなる。その形は、つながっていなくても機体の中で動き続け、つながったときだけ大きなモデルを借りるロボットの作りと重なります。

残った問いは、手元の機材だけで、学習した Physical Intelligence の π0.5 を mechArm 270 の速さに合わせて動かせるかです。これは対話ではなく、フィジカルAI研究室で実際に測って確かめることになります。

AI が物理の世界に届く手足は、ロボットではまだ細く、ネットにつながった制御装置ではもう太い。

対話の中で参照した情報