LOG529考察記事2026/11/17

人の手本より速く動けるか ― ロボットの動きの質を選べる QCP の論文

AIで読む ChatGPT・Claude などで、この記事に質問できます

成功した動きに、速さや揺れの段階を自動で付けて学び直すことを繰り返すと、ロボットアームは人の遠隔操作の手本より速く動けるようになる。 KAIST・LG電子・Microsoft Research の研究チームが2026年10月に出した論文 QCP(品質を選べる方策)は、Franka のロボットアームを使った実物の試験で、ベルトコンベアの缶を取る数を1分8.2個から13.0個に増やし、手先の速さを人の操作(毎秒173.5mm)より速い毎秒257.6mm にした。

この論文を読んで、次の3つが手に入った。

  • 手本の質が天井にならない学び方の具体例。人がゲームパッドでゆっくり集めたお手本でも、そこが上限にならない道筋がある
  • 試すまでの距離の短さ。実物の試験では、Physical Intelligence の π0.5(パイレイテンゴ。ロボット用の AI モデル)に渡す指示文の最後に、品質の段階を一言書き足しただけで、モデルの作りは変えていない。このプロジェクトで mechArm 270 に π0.5 を学習させている環境に、そのまま当てはまる
  • 成功か失敗かの二択の先にある評価の軸。速さ・滑らかさ・トレイの傾きを、同じ1つの AI の中で切り替えられる。配膳ロボットの運び方の質にもつながる

ただし、今回は論文を読んで理解しただけで、実機ではまだ何も試していない。時間や手間が何分減るといった数字は、まだない。

きっかけは、ヤマリキ(@rikiya_y)さんの X の投稿(2026年11月16日)だった。ロボットが速く動くか、滑らかに動くかを、現場の求めに応じてスライダーのように調整できる方策が論文で出てきた、という紹介だ。論文は arXiv 2610.37393。

気になったのは、ロボットの学習の評価が、ふつうは成功したか失敗したかの0か1で済まされていることだった。現場では同じ作業でも、今は急いで、今は丁寧に、と求められる。このプロジェクトが差別化の軸にしている動きの質(Motion UX)を、学習の側から扱う方法に見えた。そこで Claude(Anthropic の AI)に論文を調べてもらい、分からないところを質問しながら理解を詰めた。

何をなぜ分かったこと
論文の中身を調べる
スライダーのように調整できる、の仕組みを知りたい
成功した動きを質で4段階に分け、段階の番号ごと学習させる
スライダーの正体を図で見る言葉だけでは想像できなかった
実体は指示文の最後に付く番号。4段階しかないのでシフトギアに近い
何が新しいかを詰める
ラベルを付けるだけの話かを確かめたい
繰り返しで、人の手本より上の質まで伸びる所が本題
自分の環境に当てはめる
π0.5 と mechArm 270 で試せるか
指示文に一言足すだけで試せる。遅い成功例も捨てないのが大事

作業ログ ― Claude との対話を、そのまま残す

ここから下は、対話の全量です。私の発言を引用で、Claude の答えを本文で載せています。各節の頭の太字の一文は、その節で Claude が答えようとした問いです。記事化の段取りのやり取りは外しました。Claude の答えの中の太字と出典の書き込みは、記事の決まりに合わせて外しています。Claude の答えの中で私の名前を呼んでいた所は、言い換えました。X の投稿は画面写真から読んでいて、投稿の文はそのままの引用ではなく、日本語でまとめています。各節の後ろに、補足として、あとで考えたことを足しています。

この記事に出てくる言葉

言葉ふだんの言葉で言うと
QCP(Quality-Controllable Policy)
品質を選べる方策。動きの速さや滑らかさを、使うときに段階で指定できるロボットの AI
方策(ポリシー)
ロボットが、カメラの画像などを見て次にどう動くかを決める仕組み。学習して作る
模倣学習
人が動かしたお手本をまねさせて、ロボットに動きを覚えさせる学び方
遠隔操作
人が離れた所から、手元の道具でロボットを動かすこと。お手本集めによく使う
推論
学習を終えた AI を、実際に動かすこと
ラベル
データに後から付ける札。ここでは、その動きが何段階目の質かを表す番号
後から付け直す(hindsight relabeling)
動かしたあとで、実際に出た質を測ってラベルを付け直すこと
π0.5
Physical Intelligence が公開した、画像と言葉の指示からロボットの動きを出す AI モデル。このプロジェクトでは mechArm 270 に学習させている

X の投稿から、QCP の論文を調べる

(このとき、ヤマリキさんの投稿の画面写真と、論文の arXiv の住所を送り、調べてみてと頼んだ)

— この論文は何をしていて、自分の研究にどう関係するか。

論文本体の arXiv ページは混んでいて開けなかったので、論文をまとめたページ2つから拾った内容です。

中身

韓国の KAIST、LG電子、Microsoft Research などの研究チームの論文です。プロジェクトページは sinnnj.github.io/qcp にあります。

速さ、動きのガタつき、関節の移動距離、トレイの傾きといった品質をルールで点数にします。その点数を同じ件数ずつ4段階に分け、1回の動き全体に同じ段階のラベルを付けます。推論のときにどの段階で動くかを指定すると、それがスライダーの役目をします。

繰り返しの部分は次のとおりです。

  1. いまの方策を最高品質のラベルで300回動かす
  2. 成功した動きだけをデータに足す
  3. 貯まった成功データ全体で段階の区切りを付け直す
  4. 前の方策から続けず、最初から学習し直す

これを6回まわすと、人の手本より上の品質まで伸びていきます。

実機の結果(Franka のアーム)

  • ベルトコンベアの缶取り:1分あたり8.2個から13.0個に増えた。手先の速さは人の遠隔操作(毎秒173.5mm)より速い毎秒257.6mm
  • トレイでワイングラスを運ぶ:傾きが27%減り、成功率は30.7%から42.0%に上がった

弱いところ

  • 失敗した動きを混ぜると性能が落ちるため、成功した動きしか使えない
  • 段階はそのときのデータの中での順位なので、何秒以内のような絶対的な目標は指定しにくい
  • 実機の試験はアーム1台の構成だけで、グラス運びは成功率が4割止まりです

いちばん大きいのは実機の部分です

実機では、π0.5 に渡す指示文の中にラベルを書き足すだけで、仕組みには手を入れていません。mechArm で π0.5 の LoRA(学習済みのモデルに小さな追加の部品を足して学習させるやり方)を回している今の環境で、そのまま試せる形です。成功した動きだけを選ぶ部分も、作ったばかりの成功・失敗の判定の表がそのまま使えます。

トレイの傾きを品質として測る考え方は、配膳ロボットやハコブくんの運ぶ質にもつながります。成功か失敗かの二択ではなく動きの質を作り分けるという話なので、出力側の動きの品質で勝負するという立ち位置を、論文の側から後押ししている内容でもあります。

次の一手としては、mechArm の成功した記録を速さで4段階に分け、指示文にラベルを足して LoRA を1回学習させてみるのが一番小さい試し方です。

補足。この最初の答えは、論文の本文ではなく、論文をまとめた別のサイト2つから組み立てたものだった。arXiv のページは、Claude の作業環境から開こうとすると混雑で断られていた。下の節で、本文を読み直してもらった。成功・失敗の判定の表は、推論の動画を AI が先に判定し、人が確かめて確定する仕組みとして作ったばかりのもので、論文の繰り返しの2番目(成功した動きだけを足す)にそのまま当てはまる。

arXiv の本文で、まとめサイトの内容を確かめ直す

論文本体を読めていないと分かったので、もう一度確かめるよう頼んだ。Claude は、私のパソコンのアプリの中のブラウザから arXiv の本文(HTML 版)を開いて読み直した。

— まとめサイトから拾った内容は、論文の本文と合っているか。

今度は自分のパソコンのブラウザ経由で、arXiv の本文が読めました。前回まとめから拾った内容は本文と合っていました。ただし、本文で初めて分かったことと、前回の説明から直すことがあります。

本文で確かめられたこと

  • 2026年10月27日の投稿です。著者は前回と同じ9人です
  • π0.5 に渡す指示文の最後に、質の段階を表す一言(例は品質レベル3)を書き足すだけです。仕組みには手を入れていません。π0.7 と同じやり方だと書かれています
  • 実機では、毎回 Physical Intelligence が出した学習前の状態から、本来の学習手順で10周(バッチ32)を学習し直しています。前の回で学習したものの続きからは学習しません。理由は、段階を付け直すと同じラベルが指す質が変わり、前の回で覚えたラベルと動きの対応が合わなくなるからです
  • 実機の手本はコンベアが400回、グラスが50回です。グラスは人の遠隔操作でも382回中50回しか成功しなかった難しい作業です
  • 実機の数字(缶は1分8.2個から13.0個、グラスの傾きは27%減)は本文のとおりでした

本文で分かった大事な点

比べた相手の一つに、質の高い動きだけを残して学習する方法があります。その方法は最初の1回は良くなりますが、2回目で崩れます。グラスでは成功率が下がり、コンベアでは1分8.3個から6.3個に落ちて、何もしない場合より悪くなりました。論文は、質の低い成功例も捨てずに段階のラベルを付けて残すほうが、動きの幅が保たれて成功が続くと説明しています。

前回の説明を直す点

前回は、失敗した動きを混ぜると性能が落ちると書きました。本文を探しましたが、その記述は見つかりませんでした。本文で分かるのは、成功した動きだけを使うことまでです。

mechArm で試すなら、遅い成功例も消さずに4段階のどこかに入れておくのが大事、ということになります。

補足。ねらい・変わったこと・見込める効果を、この読み直しについて書いておく。

  • ねらい:まとめサイトの言い換えではなく、論文が書いていることだけで判断する
  • 変わったこと:失敗した動きを混ぜると悪くなる、という1行を取り下げた。代わりに、質の高い動きだけに絞ると2回目で崩れる、という本文の結果が加わった
  • 見込める効果:mechArm で試すとき、遅いお手本を消してしまう間違いを最初から避けられる。お手本を深さや速さで選び直してきたこれまでのやり方と、逆向きの話なので、ここは大きい

まとめサイトの1行が、本文にない主張にすり替わっていた。読むのが AI でも人でも、本文に当たるまでは確かめた内容として扱わないほうがいい。

スライダーの正体は、指示文の最後に付く番号だった

最初の答えの、点数を4段階に分けてラベルを付け、推論のときに段階を指定するとスライダーの役目をする、という説明が、どう動くのか想像できなかった。図で説明できるかを聞いた。

— 段階のラベルが、なぜスライダーのように働くのか。

(Claude は、成功した12回をかかった時間で4組に分ける図と、0から3の段階を選ぶと動きの速さが変わる図を、その場で描いた。この記事の図解は、それを元に作り直したもの)

つまみの正体は、指示文の最後に付く番号です。

  1. 学習の前に、成功した動きを速い順に並べ、同じ件数ずつ4組に分けます。図の秒数は説明用に作った例です。
  2. 学習のときは、動きと一緒にその組の番号も覚えさせます。そうするとロボットは、番号0のときはゆっくり、番号3のときは速く動くという対応を覚えます。
  3. 推論のときは、指示文の番号を書き換えるだけで動き方が変わります。学習し直す必要はありません。この番号を書き換えることが、スライダーを動かすことにあたります。

番号3で何度も動かし、うまくいった速い動きを足して4組を分け直すと、組を分ける境目が上がっていきます。分け直したあとの段階3は前より速い動きになるので、繰り返すうちに人の手本より速くなります。

補足。言葉だけで分からなかったのは、スライダーという言い方が、連続して好きな値を選べる物を思わせたからだった。実際は、学習のときに覚えさせた番号を、使うときに書き換えているだけだった。π0.5 の指示文は、今は「ブロックを箱に入れる」のような作業の言葉だけを渡している。そこに番号が1つ増えるだけ、と分かると、試すまでの距離が急に近く見えた。

4段階しかないなら、スライダーよりシフトギアに近い

スライダーといっても4つの速度を4つに速度変化させるので、車のシフトギアていう感じ?

— 段階を選ぶ仕組みは、車のシフトギアと同じものか。

はい、シフトギアのほうが近いです。段階は4つしかなく、その間の速さは指定できません。論文でも、刻みを細かくすると逆にうまくいかないと出ています。Square の課題(シミュレーションで部品を棒にはめる作業)を6回まわしたところで比べると、4段階では成功率が70.3%、32段階では28.1%でした。1段あたりの手本が少なくなりすぎて、ロボットが段階の違いを覚えきれないためです。

ただ、車のギアとは違うところが3つあります。

  1. ギア3の速さは決まっていません。今あるデータの中で上から4分の1、という順位で決まるだけです。何キロ出る、何秒で終わるという約束はありません。
  2. 回すたびにギア比が変わります。速い成功例が増えて組を分け直すと、前のギア3の動きは今のギア2あたりに下がり、新しいギア3はもっと速くなります。ギアを使いながら、ギアボックスごと高速寄りに作り替えていくイメージです。
  3. レバーを何本も持てます。速さ、滑らかさ、トレイの傾きのような項目ごとに別のギアを付け、速さ3で傾き3のように組み合わせて指定できます。ただ、速くて揺れない動きの手本がデータに少なければ、その組み合わせはうまく出ません。

補足。ギア3が順位でしか決まらない、という1つ目の違いは、現場に持ち込むときに効いてくる。店や病院の人は、何秒で運べるかで考える。段階3と言われても、その日のデータ次第で中身が変わるなら、約束にはならない。論文も、絶対的な目標を指定しにくいことを弱点として挙げている。シミュレーションで現場の数字を扱ってきた立場からすると、段階を秒数に読み替える表を、試すたびに残しておく必要がありそうだ。

ラベルを付けるだけではなく、繰り返しで手本を越えるのが本題

データのラベリングで動きの速度変化が可能です、という話?

— この論文は、ラベルを付けて速さを切り替えるだけの話か。

半分はそうです。論文の中身は2つあります。

1つ目はご指摘のとおりです。成功した動きに後から速さの段階を付けて学習させると、推論のときに段階を選んで動き方を切り替えられます。ただし、この方法だけで出せるのは、手本の中に元からある速さまでです。手本より速い動きは出ません。

2つ目がこの論文の本題です。いちばん速い段階で何度も動かし、うまくいったものをデータに足して段階を付け直す、という作業を繰り返します。すると、人の手本にはなかった速さまで出せるようになります。コンベアの例では、人が遠隔操作したときより速く動くようになっています。

もう一つ大事なのは、ラベルを人が付けていないことです。かかった時間や揺れを計算で測って自動で付けるので、回数を重ねても人手はかかりません。速さの話として紹介されていますが、滑らかさやトレイの傾きでも同じことができます。

一言でいうと、成功した記録に自動で質の段階を付けて学習させ、それを繰り返して手本より上の質まで伸ばす方法です。

補足。ラベルを人が付けない点は、このプロジェクトの記録の取り方と相性がいい。mechArm の実機推論は、関節の角度・爪の電流・カメラの動画を毎回全部残している。かかった時間も、動きのガタつきも、残っている記録から計算で出せる。新しく測る物を足さなくても、段階は付けられる。

人の遠隔操作より速くなる所が、この論文のいちばんの意味

人が遠隔操作したときより速く動くようになっている、ここがポイントだね

— 手本より速くなることは、何を意味し、何に気をつければいいか。

そうですね。模倣学習には、人の手本より上手にはならないという天井があり、この論文はそこを越える方法を示しています。

遠隔操作の手本は、人がカメラ越しに慎重に動かすので遅くなりがちです。論文の人の操作は毎秒173.5mmでした。この方法ではその遅さが上限になりません。ロボット自身がうまくいった速い動きを集めて、少しずつ上限を押し上げていきます。

mechArm にもそのまま当てはまります。ゲームパッドで集めた手本が多少遅くても、そこが限界にならないということです。

ただ、気をつけたい点が2つあります。

  • 越えたのは人が遠隔操作したときの速さで、機体が出せる限界ではありません。どこまで速くしてよいかの歯止めは、この方法自体には含まれていません。
  • 繰り返すたびに実機を何度も動かす必要があります。シミュレーションでは1回の繰り返しごとに300回動かしていました。実機で何回動かしたかは本文では確かめていません。手間の大半は、この動かす回数と成功・失敗の判定にかかります。

2つ目の判定は、作ったばかりの判定の表と Gemini の先回り判定がそのまま使える部分です。

補足。mechArm の実機推論では、動きの合間の待ちが長いと前から感じていた。爪を閉じたあとの待ちなど、お手本を集めたときの慎重さが、そのまま AI の動きに写っている。この論文のやり方なら、待ちの短い成功例を段階3に集めていくことで、手本の慎重さから抜け出せるかもしれない。一方で、速くした結果ブロックを落とすなら意味がない。速さのギアと、つかみの深さのギアを組み合わせて試すのが、次に考えたい形だ。

締め ― 手本は出発点で、上限ではない

模倣学習は人の手本を写すものだが、成功した動きに自動で質の段階を付けて繰り返し学び直せば、手本は出発点になり、上限ではなくなる。

学び方出せる質の上限人の手間
ふつうの模倣学習手本の中でいちばん良い動き手本を集める
質の高い手本だけに絞る
1回目は上がるが、2回目で崩れる
手本を選ぶ
QCP(段階を付けて繰り返す)
回すたびに上がり、人の手本を越える
成否の判定と、実機を動かす回数

π0.5 と mechArm 270 で試すなら、今ある成功の記録をかかった時間で4段階に分け、指示文に段階の番号を足して1回学習させるのが、いちばん小さな始め方になる。遅い成功例は消さずに残す。

出典