学習で動きが変わるロボットの安全の確かめ直し

協働ロボットの安全は、手先・作業・置き場所まで含めた使い方の単位で評価する。学習したモデルを更新するたびに動きが変わるロボットでは、誰がいつ安全を確かめ直すのかが決まっていない。

緊急度 深刻度
時間軸
5年以内
主に何で解くか
制度
関わる主体
使う事業者・SIer・メーカー・AI開発者・規格団体
本文の状態
下書き(一次出典の確認前を含む)(2026/10/24 時点)
最近の動きを調べた日
2026/11/16
自動運転バスがT字路で人と接触した場面と、右に人・企業・決まりの問題が並ぶシミュレーションの画面試して確かめる(試作)事故が起きたら誰の責任? 自動運転バスのシミュレーションソフト更新のあと、自動運転バスの止まる位置がずれる場面を、試走してから入れるか、そのまま入れるかで比べられます

最近の動き

この課題に関わる新しい動きは、まだ載っていません。週1回調べています。

学習で動きが変わるロボットの安全の確かめ直しは、ロボットが危険だという問題ではなく、使い方の単位で評価するという安全の決まりと、モデルを頻繁に更新する学習の進め方がかみ合っておらず、確かめ直しの担い手と頻度が決まっていない問題である。

30秒要約

  • 日本では、柵なしで人の隣で協働ロボットを使うには、事業者が危険の評価をして危険がないことを記録するか、ISO 10218 に合った設計と設置であることが条件になっている(2013年の厚生労働省の通達)。
  • 2025年に改訂された ISO 10218 は、ロボット単体ではなく、手先・作業・環境を含めた使い方の単位で評価し、手先などを変えたら評価し直すとしている。
  • 学習したモデルを更新すると動きが変わる。更新のたびに誰が何を確かめ直すかを、契約と手順で先に決めておく必要がある。

実装判断サマリー

項目内容
いま何が問題か
モデルの更新で動きが変わっても、安全を確かめ直す担い手と手順が決まっていない
なぜ今か
学習したモデルで動くロボットが現場に入り始め、更新の頻度が上がっている
最大の制約
確かめ直しの費用と時間が、更新の速さに見合わない
主なレバー
人を守る止め方を学習から切り離す、更新時の確認項目の型、契約での役割分担
最重要KPI
更新のうち、確かめ直しの記録が残っている割合
争点
どの程度の更新から、評価のやり直しとみなすか

課題の定義(扱う/扱わない)

  • 扱う:学習したモデル・手先・置き場所が変わったときに、安全を確かめ直す担い手・頻度・方法が決まっていない問題。
  • 扱わない:人とロボットが同じ空間で動くための基準そのもの(人とロボットの共存安全基準で扱う)。動作の成否を安く判定する仕組み(動作の成功を安く確かめる仕組みの不在で扱う)。
  • 似て非なる:事故時の責任分界は事故が起きたあとの責任、本カードは事故の前に、更新のたびに安全を確かめ直す仕組みに絞る。

何が起きているか(データ)

  • 2013年の厚生労働省の通達で、出力80W を超える産業用ロボットでも、事業者の危険の評価で危険がないとされた場合か、ISO 10218 に合った設計・設置で技術資料と適合宣言書がある場合は、柵なしで人と協働させられるようになった(厚生労働省のパンフレット)。
  • ISO 10218 は2025年に改訂され、協働ロボットの技術仕様 ISO/TS 15066 の内容を取り込んだ。ロボット単体ではなく、ロボット・作業・道具・環境を含めた使い方の単位で評価し、グリッパーなどを変えたら評価し直すとしている(ISO 10218:2025 の改訂内容)。
  • 製造物責任法では、ソフトウェア単体は製造物に当たらないが、機械に組み込まれたソフトの不具合は機械の欠陥とされることがある(消費者庁 製造物責任法の Q&A)。
  • 2023年に韓国の農産物の流通センターで、箱をパレットに積むロボットのセンサーを点検していた作業員が、ロボットに押し付けられて亡くなった。警察は、ロボットが作業員を箱と見間違えたと説明している(GIGAZINE)。物を見分ける仕組みの誤りが、人の安全に直結した例である。

なぜ先送りされてきたか

  • 安全の評価は、導入のときに1回行うものとして運用されてきた。
  • 従来の産業用ロボットは、教えた動きをそのまま繰り返すので、動きが変わるのは人が教え直したときだけだった。
  • 学習したモデルの更新は、ソフトの改善として扱われ、安全の評価のやり直しと結び付けられてこなかった。

原因構造

  • 技術側:学習したモデルは、更新の前後で動きのどこが変わったかを説明しにくい。
  • 運用側:更新の判断はAIの担当、安全の評価は現場の担当と、担い手が分かれている。
  • 契約側:導入時の契約に、更新時の確かめ直しの役割と費用が書かれていない。
  • これらが重なり、更新が速いほど確かめ直しが追いつかない、という状態になる。

誰が、どう困るか(影響)

  • 使う事業者:危険の評価の義務を負うが、更新で何が変わったかを知る手段がない。
  • SIer・AI開発者:更新のたびに評価をやり直すと、改善の速さと費用が見合わない。
  • 現場の作業員:評価の前提が変わったまま、ロボットの隣で働くことになる。

放置するとどうなるか(時間軸)

  • 数年:更新の記録と安全の評価が結び付かないまま、学習で動くロボットが増える。
  • 中期(2030年代):事故が起きたときに、どの更新が原因かを説明できず、責任の分担が争いになる。
  • 長期(2040年前後):確かめ直しの仕組みを持つ事業者だけが、学習で動くロボットを使い続けられる。

解決の方向性

  • 人を守る止め方を学習から切り離す:衝突検知・速度と力の制限・非常停止・安全入力は、学習したモデルとは別の仕組みで持ち、更新で変わらないようにする。
  • 更新時の確認項目の型:更新のたびに、止め方が変わらず効くことを確かめて記録する。
  • 更新の区分:評価のやり直しが要る更新(手先・作業・動きの範囲が変わる)と、要らない更新を分けて決めておく。
  • 契約での役割分担:更新の判断・確かめ直し・記録の保存を、誰が担い、費用をどう負担するかを契約に書く。

選択肢の比較

選択肢効果コスト実現難度主な副作用前提・備考
人を守る止め方を学習から切り離す
高中中止まりすぎて作業が遅れる最優先
更新時の確認項目の型と記録高低〜中中記録が形だけになる現場で回せる量にする
更新の区分を事前に決める中〜高低中区分の境目で争いになる契約とセット
更新のたびに全面的に評価し直す
中高高更新が止まる現実的でない

主体別アクション

SIer・AI開発者

  • レバー:止め方を学習から切り離した設計、更新時の確認項目と記録の型。
  • 変えるもの:更新をソフトの改善としてだけ扱うことから、安全の評価と結び付けることへ。
  • 制約:確かめ直しの工数。
  • 成果指標:記録の残っている更新の割合。

使う事業者

  • レバー:更新の前に内容を知らされ、確かめ直しに立ち会う。
  • 変えるもの:導入時に1回の評価から、更新のたびの確認へ。
  • 制約:現場の人手。
  • 成果指標:更新後の確認の実施率。

規格団体・行政

  • レバー:学習で動きが変わるロボットの、評価のやり直しの目安を示す。
  • 変えるもの:導入時の評価を前提にした決まりから、更新を前提にした決まりへ。
  • 制約:技術の変化の速さ。
  • 成果指標:目安の公開と、現場での使用。

争点

  • どの更新からやり直しか:動きのどの程度の変化から、評価のやり直しとみなすか。
  • 誰が負担するか:確かめ直しの費用を、使う側と納める側のどちらが負うか。

反対論・トレードオフ

  • 「更新のたびに評価し直していたら、学習の利点である改善の速さが失われる」(最も強い反対)
    • 応答:人を守る止め方を学習とは別の仕組みで持てば、更新で確かめ直す範囲は、止め方が変わらず効くことの確認に絞れる。改善の速さと安全の確認は、仕組みを分けることで両立できる。
  • 副作用:止め方を厳しくしすぎると、学習で得た速さや滑らかさを現場で生かせない。

失敗のシナリオ(プレモーテム)

  • 物を見分ける仕組みで人を守る:認識の誤りがそのまま事故になる。
  • 更新の記録が残らない:事故のときに、どの更新が原因か分からない。
  • 評価のやり直しを全部に求める:更新が止まり、古いモデルのまま使い続ける。

KPI

  • 結果指標:更新後の事故・ヒヤリハットの件数。
  • 中間指標:確かめ直しの記録が残っている更新の割合。
  • 副作用指標:安全の確認のために止まった更新の数と期間。

未解決の問い

  • 学習したモデルの更新で、動きのどこが変わったかを、現場の人が分かる形で示せるか。
  • 評価のやり直しが要る更新と要らない更新の境目を、どう決めるか。
  • 確かめ直しの記録を、事故の原因の説明にどう使うか。

すでにある良い事例

  • ISO 10218:2025 の使い方単位の評価:ロボット単体ではなく使い方の単位で評価し、手先などを変えたら評価し直すという考え方を規格に入れた(ISO 10218:2025 の改訂内容)。
  • 2013年の通達の2つの道:危険の評価で示す道と、規格に合っていることで示す道を、事業者が選べるようにした(厚生労働省のパンフレット)。

10年後の望ましい状態

  • 人を守る止め方が、学習したモデルとは別の仕組みとして当たり前に備わっている。
  • 更新のたびに、止め方が効くことの確認が記録され、使う事業者に共有されている。
  • 評価のやり直しが要る更新の目安が、規格や指針で示されている。

出典・関連課題・更新履歴

つながっている課題

緊急度 深刻度

動作の成功を安く確かめる仕組みの不在

数学のAIが速く進んだのは、証明の正誤を機械が安く確実に判定できたから。ロボットには「動作が成功したか・安全だったか」を安く確実に判定する仕組みがなく、学習と改良の繰り返しが回らない。

学習・データ・モデル 5年以内 技術で解く

最近の動き 2026/11/11NTTが動く前に荷崩れや落下を予測して動作を選ぶ世界モデルを開発した

緊急度 深刻度

暴走・誤動作の検知と停止設計

異常を検知して安全に止まる設計の標準がなく、各社バラバラ。非常停止の思想が共有されていない。

安全・信頼性・事故 今すぐ 技術で解く

最近の動き 2026/10/27NTTドコモが指示の可否を実行前に判定するロボット連携の仕組みを開発した

緊急度 深刻度

人とロボットの共存安全基準

柵で隔離する前提の安全規格から、同じ空間で動く前提の基準への移行が途上。

安全・信頼性・事故 今すぐ 制度で解く

最近の動き 2026/10/13韓国政府が人と同じ現場で動く人型ロボット20台の実証を特例で認めた

緊急度 深刻度

事故時の責任分界

自律判断するロボットが起こした事故の責任が、メーカー・SIer・運用者・AI開発者の誰にあるか不明確。

安全・信頼性・事故 5年以内 制度で解く

最近の動き 2026/10/28エストニアで配送ロボットが赤信号で交差点に入り、急ブレーキのバスで乗客が負傷した

課題マップでつながりをたどるarrow_forward