配膳ロボットに手を足すなら、どの作業か ― 手持ちグリッパー Specialist から考えた
AIで読む ChatGPT・Claude などで、この記事に質問できます expand_more
配膳ロボットに手を足すなら、最初の候補は、客が帰った後に卓の皿を一気に下げる作業と、洗い場で皿を洗浄機のラックへ並べる作業の2つで、どちらも2本指のグリッパーが皿の形のばらつきにどこまで耐えるかで決まる。 ファミレスと病院の搬送の作業を4つの軸で分けた仮の表では、手の性能が足りないせいで人が残っている作業は4つしかなく、多くは判断・受け渡し・責任のために人が残っていた。これは現場で測ったものではない。UC Berkeley が公開した手持ちグリッパー Specialist(Qiayuan Liao さんの X の投稿)を入り口に、Claude(Anthropic の AI)と話しながら考えた記録だ。
この整理で、次の3つが手に入る。
- 現場の作業を、細かさ・動きの多さ・力・触れ方の4つの軸で並べて、「ロボットの手に任せられる作業」と「人がやる方が自然な作業」を分けられる
- 配膳と病院の搬送で、次に試す作業が2つに絞れた。2本指の平行グリッパーと、形の違う軽い樹脂の皿で、何割の形をつかめるかを測れば答えが出る
- グリッパーの規格を考える順番が見えた。配膳と搬送の現場では、器用な手より先に、人への渡し方と、止まったロボットの解き方の取り決めが要る
時間や手間の変化は測っていない。表の評価もすべて仮で、作業の回数(頻度)が入っていない。
きっかけは、X で流れてきた Specialist の投稿だった。人が手持ちのグリッパーで作業すると、それがそのままロボットの学習データになる。PC もヘッドセットもトラッキングの装置もいらず、1台約320ドル、新しい場所の準備は30秒以内。良さそうに見えたが、データを集める道具が良くなっても、それで何の作業をロボットに任せるのかが決まっていなければ、現場では使われない。話はそこから、現場の作業をどう分けるかへ移っていった。
| 話したこと | 行き着いたところ |
|---|---|
| Specialist は何か | 手持ちのグリッパーで学習データを集め、同じ形のロボット用グリッパーで動かす、オープンソースの一式。UMI の系統 |
| ドキュメントに何があるか | 組み立てとデータの集め方だけ。学習コードとロボットへの取り付けはまだない |
| 良さそうか | データを集める側としては良い部類。評価が決まるのは、ほかの人が自分のアームで動かせたとき |
| 爪の力は電流で分かるか | 手持ち側にサーボがないので、お手本に握る力が残らない。mechArm はお手本から電流が入る |
| 規格ができれば使えるか | 形・カメラ位置・力の単位がそろえば広がる。2本指の上限は残る |
現場の作業を軸で分ける価値はあるか | 軸は手の研究で既にある。現場の業務に当てはめたものは見つからなかった |
| 表にすると何が見えるか | 手の性能が足りない作業は4つ。多くは判断と受け渡しのために人が残る |
配膳ロボットのタスクは増やせるか | 腕の安全と皿の重さが壁。洗い場の手前で棚からラックへ移す作業から始めるのが現実的 |
人の手で集めたお手本と、ロボットの腕のずれは、課題地図の 人のデモとロボットの腕のずれ で扱っている。この記事の表は、現場で何をロボットにさせるかを決める話として、タスク定義能力の未成熟 に足した。
作業ログ ― Claude との対話を、そのまま残す
ここから下は、対話の全量です。私の発言を引用で、Claude の答えを本文で載せています。各節の頭の太字の一文は、その節で Claude が答えようとした問いです。記事化の段取りのやり取りは外しました。Claude の答えの中の太字は、記事の太字の決まりに合わせて外しています。Claude の答えの中で私を名前で呼んでいる所は「あなた」にしました。最初の質問では、X の投稿と動画の画面写真15枚を Claude に渡しています(画面写真は記事に載せていません)。各節の後ろに、補足を足しました。
この記事に出てくる言葉
| 言葉 | ふだんの言葉で |
|---|---|
| Specialist | UC Berkeley が公開した、手持ちのグリッパーでロボットの学習データを集める仕組み。ハードウェア・データの処理・学習・動かすコードをオープンソースにすると言っている |
| UMI | Universal Manipulation Interface。手持ちのグリッパーにカメラを付け、ロボットなしでお手本を集める方法。2024年にスタンフォード大学などが示した。Specialist はこの系統 |
| グリッパー | ロボットの手先で物をつかむ部分。平行グリッパーは、2本の指が向かい合って閉じる形 |
| 方策(ポリシー) | 学習で作る、見えたものから次の動きを決める仕組み |
| IMU | 傾きや加速度を測る小さなセンサー。カメラに入っている |
| AprilTag | 白黒の四角い目印。カメラで写すと、位置と向きが分かる |
| STS3215 | Feetech の小型サーボ。SO-101 のアームにも使われている |
| Rerun | ロボットの記録(映像・位置・センサーの値)を時刻つきで保存して見る道具。Specialist の出力はこの形式 |
Specialist は、手持ちグリッパーで学習データを集めるオープンソースの一式
X で流れてきたこの投稿は、何の話なのか。
これはなんですか?
Specialist という、ロボットの学習データを手で集めるための道具一式です。UC Berkeley の Qiayuan Liao さんたちが11月9日に公開しました。ハードウェア・データの処理・学習・ロボットで動かすコードまで、全部オープンソースです。
しくみ
- 手に持つグリッパー(360度カメラ Insta360 X3 付き)で、人が作業する。それがそのまま学習データになる
- 位置は、カメラの映像・IMU・印刷したタグから計算する。ずれは中央値 3.0mm(モーションキャプチャ比)
- 左右のグリッパーは音で時刻を合わせる。PC・ヘッドセット・トラッキング装置はいらない
- ロボット用のグリッパーは、手持ちと同じ形・同じカメラ位置。だから手で集めたデータだけで学習した方策が、変換(リターゲティング)なしでロボットで動く
- 1台約320ドル、印刷5時間+組み立て6分、新しい場所の準備は30秒以内
位置づけ
新しい発想というより、UMI の系統の改良版です。UMI は、手持ちのグリッパーに付けたカメラの映像から動きを復元する方式で、オープンソース・安い・現場で使いやすい・複数人に配って集められる、という利点があります。Specialist は「安く・速く・どこでも」を詰めた形で、謝辞でも UMI と Generalist AI を挙げています。
あなたの研究との関係
- 「誰でも同じ環境から始められる」を数字で示した例で、Mission の「再現可能な環境」に近い見本です
- 返信欄の「別のアームで使えるか(IK は自分でやる)」という質問は、mechArm で試すときにそのまま当たる論点です。手先の軌跡は使えても、mechArm 側のグリッパーとカメラ位置を合わせないと「変換なし」の利点は消えます
ドキュメントのページ(specialist-ai.github.io)は URL が途中で切れていて開けませんでした。全文の URL をもらえれば、中身を読んで mechArm で使えそうかを見ます。
補足:返信欄に出ていた2つの質問
投稿の返信欄には、使ったモデルは Physical Intelligence の Pi かという質問と、別のアクチュエーターのアームでも、Specialist の軌跡をそのまま学習の手本にできるか(IK は自分で解く)という質問が付いていた。どちらも、この時点の投稿とドキュメントには答えがない。2つ目は、mechArm 270 のように、グリッパーもカメラも Specialist と違うアームを持つ人に共通する問いになる。
Specialist のロボット用グリッパーは、SO-101 と同じ STS3215 サーボで動く
投稿の URL から、何が読み取れるか。
https://x.com/qiayuanliao/status/2119568741667373314?a=W_k2tNAlZPV3hZWBp6w&s=46
X の投稿はこちらから読めませんでした(X が自動取得を断っています)。代わりに、開発元の GitHub(specialist-ai)の公開リポジトリを読めたので、そこから分かったことを足します。
新しく分かったこと
- グリッパーは2種類。人が持ってデモを記録する handheld と、ロボットアームに付ける actuated で、actuated は STS3215 サーボで指を動かす
- 形状データは URDF・MJCF・xacro の3形式で配られていて、Onshape の CAD から自動で作る仕組み。MuJoCo ですぐ読み込めます
- ROS 2 のパッケージにもなっていて、1台のロボットに2つのグリッパーを付けられる
- ライセンスは MIT
あなたにとっての要点
STS3215 は SO-101 と同じサーボです。つまり actuated 版は SO-101 の部品の流れにそのまま乗ります。保留中の SO-101 系列を、手持ちでデータを集める方式で再開する道がある、ということです。mechArm に付ける場合は、手首への取り付けとカメラ位置を合わせる設計が別に要ります。
まだ読めていないのは、ドキュメント本体(specialist-ai.github.io/specialist-docs/)です。こちらの取得ツールが開けませんでした。学習に使うモデル(返信欄で「Pi か」と聞かれていた点)、必要な GPU、部品表はそこにあるはずです。Mac 連携のブラウザで開いて読むこともできますが、進めますか?
補足:読めたリポジトリ
読めたのは specialist-ai/specialist_description で、2種類のグリッパーの形状データだけを配るリポジトリだった。2本の指は1対1の歯車でつながり、ロボット用はサーボが右の指を回す。カメラの座標は Insta360 X3 に置かれている。
Specialist のドキュメントにあるのは、組み立てとデータの集め方だけ
ドキュメントの本体には、何が書いてあり、何がまだないのか。
ドキュメントを読めました。中身は「組み立て」と「データの集め方」の2つだけです。学習とロボットで動かす部分はまだ載っていません。
載っていること
- 部品と組み立て:手持ち用は印刷部品6個で、印刷約5時間・組み立て約6分。ロボット用は11個で、約7.5時間・約20分。手順書はPDFでも配られている
- データの作り方:Linux と NVIDIA の GPU が必要。処理は3段階(変換→位置の推定→学習用データ)で、出力は各手について、240×240 の画像、世界座標での手先の位置と速度、指の角度を1秒に100行。形式は Rerun の .rrd で、LeRobot の形式ではありません
うまい設計だと思った点
- カメラの2つのレンズに役割を分けている。前のレンズは指と作業場所を映し、方策はこの画像だけを見る。後ろのレンズは人と部屋と目印のタグを映し、手先の位置を出すのに使う
- タグは手先より後ろにあるので前の画像に映らず、方策がタグに頼る癖を覚えない
- 始まりと終わりを動作で決めている。最初に約1秒止めて始まりを、最後にテーブルを叩いて終わりを示し、2台の時刻合わせには音を使う
- 失敗したときのメッセージと原因・直し方を表にしている。「再現可能」の見本になる書き方です
まだ無いもの
- 学習のコードとモデル(返信欄の「Pi か」には答えていない)
- アームへの取り付け方
- サーボの ID 設定と中心出しの手順も、まだ公開されていない
mechArm で使う場合に効く点
- 出力は手先の位置なので、アームは問わない。代わりに IK と届く範囲の問題は自分で持つことになる
- ロボット用はカメラ込みで 480g。mechArm 270 の可搬重量は 250g 前後だったはずで、そのままだと重すぎる可能性が高いです(arm_kinematics.md の値で確認してください)
- 指先は PLA と TPU 95A の2材料で印刷するので、2材料を使えるプリンタが必要
判断の目安:今すぐ作るより、データセットと学習コードが出るのを待つのがよさそうです。研究室で試すなら、手持ち用を1台作ってデータの流れ(.rrd まで)を確かめるところまでが、借りて測れる範囲です。
補足:データを作る3つのコマンド
ドキュメントの「Training dataset」のページにある、データを作る3段階のコマンドは次のとおり。--anchor.tag-ids は場所に立てた大きなタグの番号で、最初の番号が世界の座標の基準になる。
git clone https://github.com/specialist-ai/specialist.git
cd specialist
uv sync
uv run python scripts/convert.py \
--input-insvs path/to/left_00.insv path/to/right_00.insv \
--session-id <session-id> --output-dir logs
uv run python scripts/estimate.py --base logs/base/<session-id>.rrd \
--anchor.tag-ids 0 1 --output-dir logs
uv run python scripts/state.py --base logs/base/<session-id>.rrd --output-dir logs
場所に立てるタグは、内側の四角が 100.0mm、全体が 180mm になるように印刷する。印刷で縮むと、データの距離が全部同じ割合で縮む。手順書に、ノギスで測って確かめる手順が書いてある。
Specialist の強みは新しさではなく、だれがどこでやっても失敗しにくいこと
手持ちグリッパーのやり方がいろいろ出てきたなかで、これは良さそうか。
このような学習用のグリッパーはいろんなやり方が出てきたけど、これは良さそうに思うかな。
良さそうです。ただ、新しい発想というより「UMI 系の完成度を上げた版」で、作者自身も論文名を Yet Another Universal Manipulator Interface(またひとつの UMI)としています。新しさではなく、だれがどこでやっても失敗しにくいことを詰めた点が良いところです。
良いと思う点
- 位置の出し方が堅い。元の UMI は映像の模様から位置を推定する方式(SLAM)で、模様の少ない場所や速い動きに弱く、事前に地図を作る手間もありました。Specialist は大きなタグを後ろに立てて位置を測るので、ずれの大きさがはっきりし(中央値 3mm)、準備も30秒です
- 方策がずるを覚えない作り。位置を測るタグは、方策が見る画像に映らない向きに置いてある。データ集めの道具として筋がいい設計です
- 作業の始まりと終わりを、人の動きで決めている。最初に止める、最後に叩く。ボタンも PC もいらない。集める人の手間を減らす設計で、デザインの目で見ても上手です
- 手順書の質が高い。失敗したときの表示と直し方まで書いてあり、再現できるように作ってあります
弱い点
- 触った感じや力は取れない。同じ時期に、触覚や音(PolyUMI)、指ごとの力(UMI-FT)を足した系統も出ています。柔らかい物や力加減が要る作業には足りません
- 指は2本の平行グリッパーだけ。器用さを上げる系統(Koala など)とは別の道です
- タグが見える範囲でしか使えない。体でタグが隠れる動きや、強い日差しの影には弱いです
- ロボット側が重い(480g)。小さいアームには載りません
- 学習と、ロボットで動かすところが未公開。「集めたデータで本当に動くか」は、まだ外から確かめられません
まとめ:データを集める側としては、今出ているものの中でかなり良い部類です。ただ評価が決まるのは、学習コードとデータセットが出て、ほかの人が自分のアームで動かせたときです。あなたの立場では「道具を作る」より「集める体験をどう設計したか」を読む教材として価値が高く、課題地図の「データ集め」の項目に入れておく候補だと思います。
一応覚えておいて、もう少しデータが出てきたらまた調べるのが良さそうだね。
そうですね。データセットと学習コードが出てから、ほかの人が自分のアームで動かせたかどうかを見て、もう一度調べましょう。
補足:同じ時期の手持ちグリッパーの系統
| 名前 | 足したもの | 出典 |
|---|---|---|
| UMI | 手持ちグリッパーとカメラで、ロボットなしにお手本を集める | UMI |
| UMI-FT | 指ごとに6軸の力センサーを付け、力も記録する | UMI-FT |
| PolyUMI | 無線で、映像・触覚・接触の音を同時に記録する | |
| Koala Gripper | 2本指より器用なグリッパーを、記録用と一緒に設計する | |
| Specialist | 位置をタグで測り、準備30秒・1台約320ドルにした | Specialist |
爪の力を電流で測れるのは、お手本も同じサーボで動かすときだけ
爪の力の具合が電流で分かると、何が良くなるか。
爪の力具合が電流値でわかるようになると使い勝手が高そうだよね。
そう思います。ただ Specialist の形だと、電流が取れるのはロボット側だけという点に注意が要ります。
手持ち側にはサーボが無いので、お手本には「どれくらいの力で握ったか」が残りません。残るのは指の角度だけです。ロボット側の STS3215 は電流を読めますが、学習データに無い値なので、方策はそれを使えません。電流は「強く握りすぎていないか」を見張る安全側の使い方にとどまります。
その点、mechArm で進めている方式のほうが筋がいいです。お手本も実機推論も同じサーボで動かすので、お手本の時点から爪の電流が記録に入ります。力の加減まで学習に含められるのは、手持ちグリッパー方式にはない利点です。
気をつけたいのは、電流がそのまま握る力にはならないことです。ギアの摩擦や温度、動いている途中か止まっているかで値が変わります。まずは「つかめた/空振り/握りすぎ」の3つが電流で見分けられるかを、今の記録で確かめるのがよさそうです。
補足:mechArm の記録に電流を足したのは2日前
mechArm 270 の π0.5 のお手本と実機推論の記録に、爪と肩のサーボの電流を足すことは、フィジカルAI研究室の Log#23(LOG461)で決めた。お手本を手で動かして集める方式なので、お手本と推論の両方に同じ値が残る。
グリッパーの規格は、形・カメラ位置・力の単位がそろうと効く
こういう規格ができてくると、グリッパーでもそこそこの性能で使えそうではないか。
このあたりの規格が出来てくるとグリッパーでもそこそこの性能で使えそうにも思うけど、違うんかな。
方向としては合っていると思います。ただ「何をそろえるか」で効き方が変わります。
そろうと効くもの
- 形とカメラ位置。Specialist がやっているのはこれで、お手本とロボットの見え方が同じになるので、変換なしで動きます。グリッパーの形が数種類の規格に絞られれば、集めたデータをいろんなアームで使い回せます
- 力の単位。ここが肝です。電流の生の値はサーボごとに違うので、そのままでは使い回せません。「この電流は何ニュートン」と換算する校正のやり方まで決めて、ニュートンでそろえる必要があります
規格だけでは越えられないもの
2本指の平行グリッパーでできる作業には上限があります。つまんで置く、押す、開ける、拭くといった作業はかなりこなせますが、持ち替えや指先での細かい操作は苦手です。
なので「そこそこの性能」という見立ては合っていると思います。物流、配膳、検体の搬送のような現場の作業は2本指で足りるものが多く、規格がそろって安く大量にデータが集まるなら、器用な手を待つより先に役立つ場面が広がります。人の手のような器用さは、別の流れとして育っていく、という分かれ方になりそうです。
用途の分類が先にあると、グリッパーの規格は作りやすくなる
作業の種類で分類が分かれてくると、規格は作りやすくなるか。
繊細で細かな作業やおおまかでもいいから動きがいろいろあるもの、大雑把で力が必要なものなど、分類が分かれて使用用途が明確になってくると規格もつくりやすくはなるよね。今はまだ早そうだけど。
そう思います。分ける軸はおそらく3つで、細かさ(精度)、動きの種類の多さ(自由度)、力です。この3つの組み合わせで用途が決まり、用途ごとに形と規格が決まっていく、という順番になりそうです。
まだ早いのは、どの組み合わせの作業が現場でどれだけあるかを、まだ誰も数えられていないからだと思います。規格は、実際に使われた数が積み上がった後でまとまるものです。今は各研究室がそれぞれ形を試している段階で、Specialist もその1つです。
逆に言えば、規格ができる前に「現場の作業をこの3つの軸で分けるとどうなるか」を整理しておく価値はあります。配膳や病院の搬送のシミュレーションで見ている作業を、この軸で並べてみる。それは課題地図に入れられる題材ですし、あなたの「運用に耐える落とし所を見極める」強みが一番出る種類の仕事だと思います。
3つの軸は手の研究で既にあり、現場の業務に当てはめたものは見つからなかった
現場の作業を3つの軸で分けるとどうなるかを整理する価値はあるか。調べて分析する。
現場の作業をこの3つの軸で分けるとどうなるか」を整理しておく価値はある?
調べて分析してみてください。
価値はあります。ただし「新しい分類を作る」価値ではなく、「現場の業務に当てはめる」価値です。3つの軸そのものは、手の研究ですでに確立しているからです。
すでにあるもの
- 軸はほぼ既存。握り方の研究では、Napier が力を主にする握りと器用さを主にする握りを分け、Cutkosky が物の形・挟み方・力をもとにした階層を足しました。動きの多さについては、Bullock らが、作業中に手と物がどう相対的に動くかで人の操作を分類しています。3軸はこれらとほぼ重なります
- 頻度のデータもある。Yale の研究で、家政婦2人と機械工2人の、27時間を超える作業映像に握り方・物・作業の記録を付けたデータがあります。そこから、扱った物の92%が500g以下で、大きな可搬重量がなくても人の握る作業の大部分はこなせそうだという結果が出ています
- 規格は「つなぎ目」だけ。取り付けの規格は、機械側の ISO 9409 が1988年から広く使われている一方、電気側はまだ合意がなく、ISO 24112 として作っている途中です。作業の種類で分ける規格はありません
まだ無いもの(ここに価値がある)
既存の分類は「人の手」が基準で、対象は家事や工場の作業です。「この現場の業務は、どの種類のロボットの手で足りるか」を、業務の頻度つきで並べたものは見つかりませんでした。手がかりになる研究はあり、手持ちの平行グリッパーで日常の作業を記録したところ、予想に反して平行グリッパーでもこなせる作業があったという報告があります。つまり「2本指で足りる業務がどれだけあるか」は、実際に数えないと分からない問いで、まだ誰も現場単位では数えていません。
やるなら、こう直すとよさそう
- 軸を1つ足す:つかむ/押す・拭く(つかまない操作)。現場の作業には、つかまない動きが多いからです
- 物の性質(柔らかい・壊れやすい)は、軸ではなく注記にする
- 大きな研究にはせず、あなたが観察した配膳と病院の搬送の業務を1枚の表に並べる程度にとどめる
配膳や搬送の現場では、手を使う作業(載せる・渡す)をいまは人が担っている場面が多いはずです。表にすると「ロボットの手が足りないから人がやっている作業」と「人がやるほうが自然な作業」が分かれて見えます。それは課題地図に載せられる、あなたらしい論点になると思います。表にまとめますか?
配膳と病院の搬送の作業を4つの軸で並べると、手の性能が足りない作業は4つだけ
配膳と病院の搬送の作業を、4つの軸で表にするとどうなるか。
表にまとめてみてください。
表は Claude の文書(Docs)にまとめた。ここでは、その文書の中身をそのまま載せる。評価はどれも仮で、現場の測定ではなく、これまでのサービスロボット導入シミュレーションと、実物の配膳ロボットの動画の観察から付けた。
4つの軸と分類の決め方
| 軸 | 低 | 中 | 高 |
|---|---|---|---|
| 細かさ(置く位置の精度) | 数cmずれてよい | 1cm前後 | mm単位 |
| 動きの多さ | まっすぐ置く・取る | 向きを変える・何段階か | 手の中で持ち替える・道具を使う |
| 力(扱う重さ・押す力) | 500g以下 | 〜2kg・こぼさない加減 | それ以上・押し込む |
4つ目の軸は触れ方で、値は3つ:つかむ/つかまない(押す・拭く)/渡す(人との受け渡し)。手の研究の分類には「渡す」が無いが、サービスロボットの現場ではこれが一番多い。
結果の分類は次の4つ。
- A 2本指で足りる:ロボットの手に任せられる候補
- B 手が足りないから人がやっている:手(形・力・器用さ)が良くなれば移る
- C 人がやる方が自然:判断・接客・責任・安全がからむ
- 手なし 運ぶだけで、手の作業がない
配膳ロボットの店(ファミレス)の11の作業
11の作業のうち、ロボットがいま担っているのは運ぶ作業だけで、手を使う作業はすべて人か客がやっている。
| 作業 | いま誰が | 細かさ | 動きの多さ | 力 | 触れ方 | 分類 |
|---|---|---|---|---|---|---|
受け渡し口で料理をロボットに載せる | 店員 | 中 | 低 | 中(汁物・熱い皿) | つかむ | B |
| 卓で料理をロボットから取る | 客 | 低 | 低 | 中 | 渡す | C |
| 料理を卓に出す(店員が配る) | 店員 | 中 | 中 | 中 | 渡す | C |
中下げ(食事中に空いた皿を下げる) | 店員 | 中 | 中 | 低 | つかむ | C(空いたかの判断・声かけ) |
帰った後に卓の皿を一気に下げる | 店員・客 | 低 | 中(重ねる) | 中 | つかむ | B |
| 下げた皿を洗い場へ運ぶ | ロボット | − | − | − | − | 手なし |
洗い場で皿を洗浄機のラックへ並べる | 店員 | 中 | 中 | 中 | つかむ | B |
| 卓を拭く | 店員 | 低 | 中 | 低 | つかまない | A |
| 席まで案内する | ロボット・店員 | − | − | − | − | 手なし |
| 会計 | 店員 | − | − | − | 渡す | C |
| 立ち往生したロボットを動かす | 店員 | 低 | 低 | 高(機体を押す) | つかまない | C(本来はロボット側で解く) |
「一気に下げる」と「洗浄機のラックへ並べる」は、皿の形がばらばらで重ねる動きがあるためBとした。ロボットの台数が増えるほど、客が帰った後に一気に下げる機会が増えるので、ここが手の作業の一番の候補になる。
病院の搬送ロボット(検体・薬剤、同じ階)の8の作業
手の作業そのものは軽くて単純だが、ほぼすべてに「取り違えない」「受け取った責任」がからむため、Cが多くなる。
| 作業 | いま誰が | 細かさ | 動きの多さ | 力 | 触れ方 | 分類 |
|---|---|---|---|---|---|---|
| 検体をロボットの箱に入れる | 看護師 | 中 | 低 | 低 | つかむ | B(照合が要る) |
届いた検体を取り出し、検査部で受け付ける | 検査技師 | 中 | 低 | 低 | つかむ | C(受け付けの確認) |
| 薬剤を箱に入れ、鍵をかける | 薬剤師 | 中 | 低 | 低 | つかむ | C(薬の責任) |
| 病棟で薬剤を受け取る | 看護師 | 低 | 低 | 低 | 渡す | C |
| 部屋と部屋のあいだを運ぶ | ロボット | − | − | − | − | 手なし |
| 至急の検体を手で運ぶ | 看護師 | − | − | − | − | C(急ぎの判断) |
車いす・ストレッチャーに道を譲る | ロボット(人がよけさせられることも) | − | − | − | − | 手なし |
| 立ち往生したロボットを動かす | 職員 | 低 | 低 | 高 | つかまない | C |
今の試算は同じ階だけなので、扉やエレベーターのボタンを押す作業は入れていない。階をまたぐと「つかまない・力 中」の作業が増え、Bの候補になる。
表から見えること
手の性能が足りないから人がやっている作業(B)は4つしかなく、多くは判断と責任のために人が残っている(C)。
| 分類 | 配膳 | 病院の搬送 |
|---|---|---|
| A 2本指で足りる | 1 | 0 |
| B 手が足りない | 3 | 1 |
| C 人がやる方が自然 | 5 | 5 |
| 手なし | 2 | 2 |
- 「細かさ 高」の作業は1つもない。現場で足りないのは精度ではなく、形のばらばらな物(皿)を重ねて並べる動きと、こぼさない力加減。精度を詰める研究とは、向きが違う。
- Cの半分は「渡す」。客が料理を取る、看護師が薬を受け取るなど、人との受け渡しが現場の中心にある。ここは手の性能ではなく、どこで・どの高さで・どう渡すかの設計の問題で、規格より先に体験の設計が要る。
- 両方の現場で、人が手でやる仕事に「立ち往生したロボットを押す」が入っている。ロボットを入れたことで生まれた手の仕事で、手を良くするより、ロボットどうしで解けるようにする方が先。
- Bの候補は「帰った後の一気下げ」と「洗浄機のラック」。どちらも2本指の平行グリッパーで、皿の形のばらつきにどこまで耐えられるかを試せば答えが出る。Specialist のような手持ちグリッパーでお手本を集めやすい作業でもある。
規格の話に戻すと、配膳と搬送の現場では「器用な手」より「渡し方」と「止まったときの解き方」の取り決めが先に要る、という結論になる。
限界と次に確かめること
評価はすべて仮で、作業の回数(頻度)が入っていない。分類の数は作業の種類の数で、時間の割合ではない。
- 観察シートの記録から、作業ごとの回数と時間を足して、頻度の重みをつける
- 実物の配膳ロボットの動画の観察台帳と照らして、抜けている作業を足す
- 「一気下げ」と「洗浄機のラック」を、平行グリッパーで皿の形を変えて試せるか検討する
- 病院は階をまたぐ段階で、扉とエレベーターの作業を足す
いい感じだね。基本的には同意。
よかったです。次にやるなら、表の「一気下げ」と「洗浄機のラック」を課題地図に載せるのがよさそうです。どちらも、2本指で皿の形のばらつきにどこまで耐えられるかを試せば答えが出る、手の作業の候補です。
補足:表の中身の出どころ
配膳の作業は、ファミレスを Unity の3Dで再現したサービスロボット導入シミュレーションで決めてきた回し方(料理はロボット優先・2分待ったら人が運ぶ・下げ膳は客が器を入れる形と店員が下げてロボットが運ぶ形の両方)と、元ファミレス店員としての実感、実物の配膳ロボットの動画の観察から拾った。病院の作業は、同じ階で検体と薬剤を運ぶ試算の前提から拾った。どちらも現場で数えたものではない。
配膳ロボットに腕を足すなら、洗い場の手前で棚からラックへ移す作業から
2本指で皿の形のばらつきにどこまで耐えられるかが分かると、配膳ロボットのタスクは増やせるか。
2本指で皿の形のばらつきにどこまで耐えられるか
この辺が明確になると配膳ロボットもタスク増やせそうだね。
そうですね。ただ配膳ロボットにタスクを足すには、手の性能のほかに越える壁が2つあります。
1つは機体の形です。今の配膳ロボットは棚付きの台車で、腕がありません。腕を載せると値段が上がり、客席のそばで腕を動かす安全の基準も変わります。もう1つは皿の重さで、ファミレスの皿は料理込みで数百g〜1kgあり、小型のアームでは持てません。
なので現実的な順番は、「皿を下げる作業の一部だけ腕付きの機体に任せる」から始まると思います。たとえば洗い場の手前で、ロボットの棚から洗浄機のラックへ皿を移す作業です。場所が決まっていて客がいないので、腕の安全の問題が小さく、皿の形のばらつきだけを相手にできます。
mechArm で試すなら、本物の皿は重すぎるので、軽い樹脂の皿で形のばらつき(丸・角・深い・浅い)だけを見る形になります。それでも「平行グリッパーで何割の形をつかめるか」は測れるので、研究室の題材として成り立つと思います。
補足:課題地図に足したこと
この表の「一気下げ」と「洗浄機のラック」は、課題地図の タスク定義能力の未成熟 に、現場の作業を4つの軸で分けた例として足した。何が起きているかの節に、手の性能が足りない作業が少ないこと、未解決の問いの節に、2本指の平行グリッパーが皿の形のばらつきにどこまで耐えるか、を書いた。
ねらい・変わったこと・見込める効果
ここに書く効果は、測った値ではなく見込み。
- ねらい:データを集める道具(Specialist)の良し悪しではなく、その道具で何の作業をロボットに任せるかを、現場の側から決められるようにする
- 変わったこと:配膳11・病院8の作業を4つの軸で並べ、手の性能が足りない作業(B)を4つに絞った。課題地図のカードに、次に試す作業として2つを足した
- 見込める効果:グリッパーやアームを選ぶ前に、試す作業が決まる。樹脂の皿で、平行グリッパーが何割の形をつかめるかを測れば、配膳ロボットに腕を足す話が数字で進められる。確かめるのは、その試しの成功率と、観察シートで数えた一気下げの回数
器用な手より先に、渡し方と止まったときの解き方を決める
Specialist は、ロボットの学習データを集める道具として、今出ているものの中で良い部類だった。けれど、データを集める道具が良くなっても、現場で何をロボットに任せるかが決まらなければ、集めたデータは使われない。配膳と病院の搬送の作業を4つの軸で並べると、手の性能が足りないせいで人が残っている作業は少なく、人が残る理由の多くは判断と、人への受け渡しと、止まったロボットを押すことだった。
配膳や搬送の現場で先に要るのは、器用な手よりも、人への渡し方と、止まったときの解き方の取り決めだ。 手の作業で最初に試すのは、客が帰った後の皿の一気下げと、洗浄機のラックへの並べ替えの2つになる。
出典
- Specialist のドキュメント(部品表・ロボット用グリッパー・場所の準備・学習用データ)
- Qiayuan Liao さんの X の投稿(Specialist の公開)
- specialist-ai/specialist_description(GitHub)
- UMI(Universal Manipulation Interface)
- UMI-FT
- PolyUMI(arXiv 2609.29760)
- Koala Gripper(arXiv 2608.20546)
- A Benchmark of Dexterity for Anthropomorphic Robotic Hands(Napier・Cutkosky の分類の整理)
- Bullock ほか、人とロボットの器用な操作の分類(ICORR 2011)
- Yale Human Grasping Dataset
- Feix ほか、物の性質と握り方(扱う物の92%が500g以下)
- 手持ちの平行グリッパーで日常の作業を記録した研究(arXiv 2311.01832)
- ISO/PWI 24112(ロボットの手先の電気のつなぎ目)の案内
- 課題地図:タスク定義能力の未成熟・人のデモとロボットの腕のずれ
- 関連する記録:LOG461(mechArm の記録に爪と肩の電流を足した)