ロボットのピッキングは照明で崩れる ― 次のアームは人の雑さをまねる

少量のお手本で学ばせたロボットのピッキング（物を掴んで取り出す作業）は、物そのものではなく「その部屋での物の見え方」まで覚えてしまうため、照明が変わるだけで失敗するのが普通です。越える近道は、最初からどんな環境にも強いモデルを狙うことではなく、動かしてよい条件の範囲を先に決めて狭く確実に動かし、現場で外れた場面を集めて範囲を少しずつ広げることだ、というのが今の考えです。

これは実験の記録ではなく、Claude（Anthropic の AI）と対話しながら考えた記録です。きっかけは X に上がった1本の投稿でした（https://x.com/yuki_ar/status/2115799038390161464 ）。ある会社のフィジカルAI（AI で現実の機械を動かす技術）の発表で、ロボットのピッキングがほとんど成功せず、発表した人たちは「部屋が変わって照明の条件が変わったから」と説明していた。それはフィジカルAIの限界なのか、作った人たちの腕の問題なのか、という投稿です。投稿から1日ほどで約1.8万回表示され、返信には「照明が変わると急に取れなくなるのは現場でもよくある」「少量データの模倣学習ならそんなもの」という声が並びました。

このプロジェクトでは、小さなロボットアーム mechArm 270 に、Physical Intelligence の π0.5（画像と言葉の指示を受けてロボットの動きを出すモデル）を組み合わせて、ブロックを掴んで箱に入れる練習をしています。同じ壁にいずれ当たるはずの話なので、他人事として読めませんでした。対話は「では最速の進め方は何か」から始まり、上のカメラ1台でなぜブロックを掴めているのか、人は手首にカメラがないのにどうやって物を掴んでいるのか、と移っていきました。

対話は14往復です。

照明で崩れるピッキングを越える道は、ロボットを人より正確にすることではなく、人のように「ずれても見ながら直せる」アームと運用を作ることにある。

作業ログ ― Claude との対話を、そのまま残す

ここから下は、対話の全量です。ユーザーの発言を引用で、Claude の答えを本文で載せています。各節の頭の太字の一文は、その節で Claude が答えようとした問いです。最初の発言は、X の投稿とその返信の画面写真を共有して書いたものです。Claude の答えの中では、投稿した人の名前を「投稿した人」に置き換えました。テスラのカメラの話は2026年10月30日に調べた時点のもので、答えの中にあった出典は記事の最後にまとめました。最後の答えの終わりにあった、新しいアームの情報を定期的に集めるかの問いかけと、その設定のやり取りは、運用の段取りなので外しています。

この記事に出てくる言葉

対話の中で初めて出てくる言葉のうち、話の中身にかかわるものを先にまとめます。

少量のお手本で学んだロボットのピッキングは、照明が変わると崩れるのが普通

（X の投稿と返信の画面写真を共有して）まぁそんなもん。

— 部屋を変えたらピッキングが崩れたのは、フィジカルAIの限界なのか、作った人の腕の問題なのか。

そうですね、少量データの模倣学習なら照明が変わればコケるのは普通です。モデルは「物体そのもの」ではなく「その部屋での見え方」を覚えているので、影や反射が変わるだけで別の環境になります。

なので本当の論点は「ポテンシャルが低いのか、やっている人がしょぼいのか」ではありません。動作条件を仕様として持たずに会場を変えたことが問題です。照明・背景・カメラ位置の許容範囲を決めておき、外れたら止めるのか、事前に条件違いのデータで幅を広げておくのか。これを決めないままデモに出たのが失敗の中身です。

投稿した人の「同じ動きを重ねるより条件違いを増やす方がいい？」という問いはその通りで、データは量より多様性が効きます。ただ現場では、どんな照明にも強くするより、遮光や自前のライトで照明を固定するほうが安くて早いことが多いです。ここでどちらを取るかが実運用での判断どころです。

ピッキングを環境の変化に強くする最速の順番は、動かす条件を決めて狭く確実に動かすこと

これ実際のところどういう進め方が最速なのかね。 環境条件学ばせるのか、それとも環境合わせる方がいいのかいろいろあるが、最終的には多少環境が変わっても同じように動くを目指す必要はある。特に外でロボット動かすようなフィジカルAI案件は絶対に存在するから照明だけに頼るのも問題はある。

— 照明の変化を学ばせるのと、環境のほうを合わせるのと、どちらが早いのか。

照明を学ばせるか環境を合わせるかの二択ではなく、順番の問題です。最速なのは「狭い条件で確実に動かす → 現場で外れたケースを集める → 対応できる範囲を広げる」という流れです。最初から全環境に強いモデルを狙うと、データ集めが終わらず現場に出られません。

環境の変化に強くする5つの手順

1. 動作範囲を先に決める：自動運転の動作設計領域（ODD）と同じ考え方です。照度・時間帯・背景・天候の許容範囲を決め、範囲外を検知したら止めるか人に渡します。これがないと「部屋を変えたら全滅」がまた起きます。
2. 見え方の差はセンサー側で潰す：学習で吸収するより安く済みます。露出固定やHDRカメラ、偏光フィルタ、自前の強い照明と特定の波長だけ通すフィルタの組み合わせ、深度センサーの併用などです。屋外では構造化光式の深度は日光に負けやすいので、ステレオ式などを選びます。
3. 認識は事前学習済みモデルに任せる：少量のデモで画像から直接動作を学ばせると、照明まで一緒に覚えてしまいます。大規模に事前学習された物体検出やセグメンテーションを間に挟み、動作を決める部分には「物体の位置と形」だけを渡すほうが崩れにくいです。
4. データは量より条件違い：時間帯や照明を変えて撮ります。明るさや色のデータ拡張、生成モデルで背景や照明を差し替える拡張も効きます。
5. 現場ログを回す：失敗したケースや範囲外のケースを回収して追加学習し、動作範囲を少しずつ広げます。

屋外で動かすロボットの場合

照明を合わせる手が使えないので、2〜4は必須です。それでも全条件には対応しきれないので、低い角度の逆光や雨などは運用ルールで避けるのが現実的な落とし所です。

結局、速さを決めるのはモデルの性能より「どこまでを仕様内とするか」を最初に決められるかどうかです。ここはエンジニアリングより運用設計の判断になります。

π0.5 でも成功率を上げるのに要るのは、膨大なデータより失敗を狙ったデータ

アームでπ0.5かませてるからうちのプアなアームでもそこそこ動くけど、それでもこれから膨大なデータ取らないと環境差を考慮した状況でピックプレースの成功率上げるとか相当難しいよね。

— 小さなアームで、環境が変わっても成功率を上げるには、本当に膨大なデータが要るのか。

確かに簡単ではありませんが、必要なのは「膨大なデータ」というより狙いを絞ったデータです。π0.5は事前学習の段階で多様な環境を見ているので、追加で足すべきなのは量ではなく、自分の環境で落ちるケースのカバーです。

π0.5 の成功率を効率よく上げる順番

1. 失敗を分類する：認識・把持・配置・ハード起因に分けます。プアなアームだと、照明よりバックラッシュや再現性、グリッパーの滑りで落ちている割合が意外と大きいことが多いです。
2. データ以外の変数を先に固定する：カメラ取り付けのズレは照明より効きます。手首カメラの追加（近くて見え方が安定する）、指先の滑り止めなど、安いハード対策で数％〜十数％上がることがあります。
3. 同じ本数でも条件を回す：セッションごとに照明・背景・物の置き方を意図的に変えて撮ります。
4. 介入データを取る：失敗しかけた瞬間に人が引き継いで修正した部分だけを記録します。最初から最後まで撮るデモより、1分あたりの価値がずっと高いです。Physical Intelligence自身も、実運用での経験と修正から学ぶ方向に進んでいます。
5. リトライを成功に含める：1発成功率ではなく「N回以内に成功」を指標にし、失敗を検知して再把持する動作を学ばせます。現場で効くのはこちらです。

個人のアームで狙う成功率の目標

個人のアームで環境変化込みの1発成功率95%を狙うのは現実的ではありません。動作範囲を決め、その中で「リトライ込み8〜9割」を先に作るのが最短です。そこから外れたケースだけを回収して広げていけば、データ量は「膨大」まで行かずに済みます。

π0.5 が上のカメラ1台でブロックを掴めるのは、ブロックの高さが一定だから

考えたら上カメラだけでよくブロック掴めるなって思う。なかなかビックリしてるπ0.5には。

— 奥行きの分からない上からのカメラ1台で、なぜ掴めているのか。

上カメラだけで掴めるのは、ブロックの条件がたまたま噛み合っているからでもあります。

上から見ると、苦手なのは奥行き（高さ）の推定です。ただブロックは机の上に置かれていて高さがほぼ一定なので、実質「机の上のどこにあるか」と「向き」が分かれば足ります。そこは上カメラが一番得意な情報です。加えてπ0.5は大規模な画像と言語の事前学習を土台にしているので、少ないデモでも「物の位置と向き」を拾う力が最初から強い。さらに動作を短い塊で出しては画像を見直すので、多少ずれても途中で補正が効きます。

逆に言うと、崩れやすいのは次のような場面です。

• 背の高い物や形が不揃いな物（高さの推定が必要になる）
• 掴む瞬間にグリッパー自身が対象を隠す場面
• 物同士が近接・重なっている配置

このあたりで成功率が落ち始めたら、手首カメラを足すタイミングです。「上カメラだけでどこまで行けて、どこで限界が来たか」は、それ自体がフィジカルAI研究室の記録として価値のある知見になると思います。

人は高さを、両目の視差・頭の動き・知識・触った感覚を組み合わせて推定している

これって人の場合どうやって高さを推定しているの？ カメラを2点にしたら解決するものなの？

— 人はどうやって奥行きを測っていて、カメラを2台にすれば同じことができるのか。

人は高さ（奥行き）を一つの方法ではなく、複数の手がかりを組み合わせて推定しています。

人が奥行きを知るのに使っている手がかり

• 両目の視差：左右の目の見え方のズレから距離を出します。手が届く範囲では特に強く効きます。
• 頭を動かしたときの見え方の変化：近い物ほど大きく動いて見えます。片目でもこれで距離が分かります。
• 知識と見た目の手がかり：物の本来の大きさ、影、重なり、遠近感など。
• 触って直す：手を伸ばしながら目で確認し、触れた感覚で最後に補正します。

片目の人でも物を掴めるのは、後半の3つで補えるからです。人は「正確に測ってから掴む」より「だいたいで動いて途中で直す」で掴んでいます。

カメラを2台にすれば奥行きは分かるか

半分は解決します。2台を並べたステレオなら三角測量で距離が出せます。ただし、模様のない面や光る面では左右の対応が取れず精度が落ち、カメラ同士の位置合わせも必要です。

また、π0.5のような学習モデルは2枚の画像から距離を計算するわけではなく、2つの視点から暗黙的に読み取るだけです。

学習で動かすロボットでは、固定カメラを2台並べるより上カメラ＋手首カメラの組み合わせがよく使われます。手首カメラは対象に近づくほど大きく映り、アームが動くと見え方が変わるので、人が「近づいて見る」「頭を動かす」のと同じ手がかりが自然に得られます。掴む直前の細かい位置合わせにも強いです。

人の目は首と眼球で動くので、ロボットはそれを手首カメラで補っている

人って手首カメラないのに、ロボットは手首カメラが必要って面白い視点だよね。 ロボットを開発するとき、人型でも人の視点からではうまくいかないケースも多々ありそうだね。

— 人にない手首カメラが、なぜロボットには要るのか。人型なら人の視点で足りるのか。

面白いところです。ただ人は手首カメラがない代わりに、別のもので補っています。

• 目が首と眼球の上に乗っている：見たい場所に視線を向け、手元を中心の高解像度の部分で追い続けられます。固定カメラとは別物です。
• 指先の触覚が圧倒的に細かい：最後の数ミリは目ではなく触った感覚で合わせています。
• 自分の腕の位置が見なくても分かる：腕の角度や力の感覚がずっと入っています。

ロボットはこのどれも人ほど持っていないので、手首カメラで「見る」側に寄せて補っている、ということです。

人型ロボットで人の視点をそのまま真似ると苦しくなるのはその通りで、頭のカメラだけだと、掴む瞬間に手が対象を隠すし、触覚の補正もありません。なので実際の人型開発でも、手のひらや手首にカメラを入れたり、頭に深度センサーを足したりと、人にない感覚器を足すことが多いです。

真似るのは形ではなく機能、という整理になると思います。人型が意味を持つのは、ドアや道具など人向けに作られた環境にそのまま入れる点です。感覚の取り方まで人に合わせる必要はなく、むしろロボットは「カメラをどこにでも付けられる」という人にない利点を使ったほうが早く確実に動きます。

テスラの車は8個のカメラの映像を、車の周りの立体の地図にまとめて運転している

確かに。テスラの自動運転車もカメラ8個くらいあったっけ？ それで画像合成させてるんでしょ？

— カメラだけで走るテスラは、複数のカメラの映像をどう使っているのか。

はい、ほぼその通りです。現行の多くの車種は車外カメラ8個と車内カメラ1個の構成で、2026年はフロントバンパーカメラの追加が話題になっています。2021〜2022年にレーダーと超音波センサーを外し、それ以降の車両はカメラのみです。

ただ「画像合成」はパノラマのように画像を貼り合わせているわけではありません。8台の映像からニューラルネットが特徴を取り出し、それを車の周りの立体空間の地図にまとめるイメージです。現在は認識・判断・操作を一つのネットワークで行うエンドツーエンド構成になっていて、カメラ映像から直接運転操作まで出しています。

面白いのは、奥行きの取り方がさっきの人の話とほぼ同じ点です。

• 視野の重なり：隣り合うカメラの重なる部分で、ステレオに近い手がかりが得られる
• 動きによる見え方の変化：車が走ると景色が動くので、頭を動かすのと同じ効果がある
• 大量の経験：膨大な走行データから「この見え方ならこの距離」を覚えている

つまりテスラは、深度センサーを持たない代わりに、人と同じ手がかりを膨大なデータで鍛えた形です。アームも同じで、手首カメラは「動くカメラ」なので、データが少なくてもこの動きの手がかりを使えるのが強みです。

指先の触覚も、ゴムの膜を裏からカメラで撮るセンサーで測れるようになってきた

なるほどね。人の触覚や体の感覚を手首の動くカメラによって補っているって感じか。それは意外な視点だったな。

— 手首カメラは、人の触覚まで補っているのか。

少しだけ補正すると、手首カメラが主に補っているのは「首と目を動かして手元を見る」部分です。触覚は「接触の瞬間を見て確認する」ことで一部を代わりにしているだけで、力の強さや滑りまでは見えません。

その触覚の部分も、面白いことにカメラで補う方向の研究が進んでいます。指先にゴムの膜を張り、その裏側から小さなカメラで膜の変形を撮る触覚センサーです。押し付けた形や滑り始めが画像として取れるので、学習モデルにもそのまま入れられます。

結局ロボットは、人がそれぞれ別の感覚器で受け取っている情報を、置き場所を変えたカメラで集め直している、という見方ができます。

ロボットがカメラを基本にするのは、安さと、学習済みのモデルを使い回せるから

それは面白い研究だね。どこまでいってもカメラなんだね。 でもセンサーだとどうしてもコストが上がる傾向があるからカメラでできるところまでやるってはトレンドなのかもね。

— カメラでできるところまでやるのは、コストのためなのか。

トレンドとしてはその通りだと思います。ただ理由はコストだけではなく、もう一つ大きいのが学習の使い回しがきくことです。

• 安い：スマホの大量生産でカメラの部品は極端に安くなっています。
• 学習資産が使える：画像は世界で一番データが多い形式なので、大規模に事前学習されたモデルをそのまま使えます。π0.5が少ないデモで動くのもこれのおかげです。特殊なセンサーは、そのセンサー用のデータを一から集める必要があります。

一方で、カメラが苦手な場面ははっきり残ります。暗所や強い逆光、透明な物、そして力の大きさです。なので自動運転でもウェイモはLiDARを併用していますし、人と一緒に働くロボットは関節に力センサーを入れて、ぶつかったら止まるようにしています。

整理すると、カメラを基本にして、カメラで測れないと分かった所にだけ別のセンサーを足すのが今の主流です。センサーを足すかどうかを、実際に失敗した場面から決める考え方です。

カメラで足りるなら、個人開発の壁はセンサーからデータ集めと評価に移る

カメラだけで大方済むなら、個人開発してるひとはやりやすいけどね。

— カメラ中心の流れは、個人でロボットを作る人にとって何を変えるのか。

そうですね。カメラとアームと借りたGPUで、数年前なら研究室単位でしかできなかったことが個人でも回せるようになりました。

その分、個人の壁はセンサーではなく別の所に移っています。デモを撮り続ける手間、安いアームの再現性の低さ、そして「何回中何回成功したか」を同じ条件で測り続ける評価の手間です。逆に言えば、そこを手順として整えて公開すれば、同じ構成で始めたい個人にとってはそのまま使える出発点になります。

人は正確な動きではなく、ずれても直せる仕組みで仕事をしている

人ってそもそもそんなに正確な動きをしてるわけではないと思うけど、なんで仕事が上手くできているんだろう？

— 動きの正確さが高くない人が、なぜ仕事をこなせるのか。

人は正確さではなく、ずれても成功する仕組みで仕事をこなしています。

• 動きながら直す：最初の動きはかなり雑で、目と触覚で途中修正し続けています。狙って一発で決めているわけではありません。
• 体が柔らかい：筋肉で硬さを変えられるので、少しずれて当たっても押し付けながら馴染ませられます。鍵穴に鍵を入れるとき、手をゆるめて穴に「導かせて」いるのがこれです。
• 環境を使う：机の面を滑らせて物を寄せる、角に当てて位置を揃えるなど、周りを定規代わりにしています。
• 道具と作業が人向けに作られている：取っ手やボタンは、人の雑さを前提に余裕を持たせて設計されています。
• 失敗に気づいてやり直す：落としたら拾う、ずれたら置き直す。これを失敗と数えていないだけです。

従来の産業ロボットは逆で、決まった環境で正確な位置に一発で動かすことで仕事をしてきました。今のフィジカルAIはそれを人寄りに変えている途中で、π0.5でプアなアームでもそこそこ掴めるのは、まさに「見ながら直す」側の仕組みで動いているからです。

学習で動かすアームは、産業用アームと優先するものが逆になる

そう考えると今の産業用のロボットアームとはまったく思想の違うアームを作る必要があるよね。

— 見ながら直す前提のアームは、産業用アームと作りがどう変わるのか。

はい、そして実際にもう動き始めています。設計で優先するものがほぼ逆になります。

ALOHAやSO-101のような研究用の安いアームはまさにこの方向で、精度は捨てて、壊れにくさと安さで台数とデータを稼ぐ思想です。外から押すと動く関節は、ぶつかっても力が逃げるので人のそばで使いやすく、モーターの電流から当たった力も推定できます。

ただ、産業用が不要になるわけではありません。同じ部品を何万回も高速で置く仕事は、今後も正確なアームの方が強いです。「決まった環境で正確に」と「変わる環境で直しながら」の2系統が並ぶ形になると思います。後者は精度より「作業が成立するか」で設計するので、体験から逆算する考え方とかなり相性がいい領域です。

新しいアームの主戦場は、人が今やっている仕事

産業用が得意としてる領域はそもそも人にはできないものが多いから、それは特化したロボット産業市場なんだろうと思う。そこには新しいロボットアームはおろか人も入っていけないよね。

— 産業用アームの領域に入れないなら、新しいアームはどこで勝つのか。

その整理でいいと思います。産業用アームが強いのは、速さ・精度・重さ・24時間稼働と、もともと人を超えた領域です。ここはファナックや安川などが長年積み上げた完成された市場で、新しい思想のアームが入っても勝ち目はほぼありません。

なので新しいアームが狙うのは逆側、今は人がやっている仕事です。物流のピッキング、食品の盛り付け、多品種少量の組み立て、店舗や介護の補助など、ばらつきが大きすぎて産業用では自動化できず、人が残っている領域です。

ただ境界は少しずつ動いています。産業用アームにカメラと学習を後付けして、ばら積みの部品を拾うような事例は増えています。

整理すると次の3つになります。

• 人を超える仕事：産業用の独壇場
• 人がやっている仕事：新しいアームの主戦場
• その間：産業用に学習を足して、少しずつ人側へ広げている領域

人も入れない領域で競うのではなく、人が今やっている領域で「人ほど上手くなくても任せられる」状態を作るのが、新しいアームの勝ち筋だと思います。

ヒューマノイドだけがフィジカルAIではない ― 新しいアームを比べる5つの軸

そうだね。これからはそういったところが主戦場になるだろうね。なので新しいアームの情報とかももって積極的に調べておく必要があるね。 ヒューマノイドロボットだけがフィジカルAIではないからね。

— 新しいアームを調べるとき、何を見て比べればよいのか。

その通りだと思います。アーム単体や台車付きアームの方が、ヒューマノイドより先に現場へ入る可能性も高いです。

新しいアームを調べるときは、スペック表の数字より次の軸で見ると比較しやすいです。

• 価格帯：台数を並べてデータを稼げる値段か
• 関節の作り：外から押すと動くか（減速比・力の逃がし方）
• 感覚：手首カメラや力センサーを載せやすいか、最初から付いているか
• 学習基盤との対応：LeRobotやπ系のモデルですぐ使えるか
• 開かれ方：設計や制御が公開されていて、他人が同じ環境を再現できるか

最後の軸は、Pixels to Motorsの「再現可能な環境」とそのままつながります。

照明で崩れるピッキングの先にあるのは、人の雑さをまねるアーム

対話は、部屋を変えたらピッキングが崩れたという1本の投稿から始まりました。少量のお手本で学んだモデルは、物ではなくその部屋での見え方を覚えるので、照明が変わると崩れます。越える順番は、動かしてよい条件を先に決め、センサーで見え方の差を減らし、外れた場面を集めて広げることでした。

そこから話は、人がどうやって物を掴んでいるかに移りました。人は高さを正確に測っているわけではなく、目を動かし、触って直し、周りを定規に使い、失敗したらやり直しています。ロボットは、人がそれぞれ別の感覚器で受け取っている情報を、手首や指先に置いたカメラで集め直しています。テスラが8個のカメラでやっていることも、同じ手がかりを大量のデータで鍛えたものでした。

残った問いは、手元の mechArm 270 と π0.5 が上のカメラ1台でどこまで行けて、どこで手首カメラが要るようになるかです。これは対話ではなく、フィジカルAI研究室で実際に試して確かめることになります。

照明で崩れるピッキングの先にあるのは、人より正確なロボットではなく、人のようにずれても見ながら直せるアームと、その条件の範囲を決める運用である。

対話の中で参照した情報

• X の投稿：会社のフィジカルAIの発表でピッキングが失敗した話
• Tesla’s Vision-Only FSD: Why Cameras Beat LiDAR（Basenor）
• Tesla Camera System Guide (2026)（TSLNA）