「人間のミス」を止める設計
■ 「正確な実行」が危うくなるとき ロボットの美徳は指示を律儀に実行することです。当直明けの小芝研修医が告げた「301号室にラシックス」に、ハコブくんは迷わず「了解」と応じました。問題は、その律儀さが「指示を出す人間が万全である」という前提に乗っていること。朦朧とした研修医が5分おきに同じ指示を3回繰り返せば、額面通りの実行は3倍の搬送、過剰投与のリスクに直結します。
■ 重複検知という「優しい疑い」 解決は実行を速くすることでも止めることでもなく、「同じ指示が短時間に繰り返された」異常パターンを拾うことでした。第3コマの「同一指示3回目:確認シマス」は命令の拒否ではありません。律儀に従う前に一拍置き、人間に問い直す——安全側に倒れた確認設計です。「拒否」でなく「確認」だからこそ、人間が自分のミスに気づく余地が残ります。
■ 結論:機械が人間の「ブレーキ」になる 小芝医師の「3回目で止まってくれてよかった…」は、ハコブくんが実行装置から現場のフェイルセーフへ変わった瞬間を物語ります。疲労や思い込みで人間の判断は鈍る。だからこそ機械を「指示に従うだけの存在」でなく「異常を検知して問い返す存在」として設計する。その一拍の余白が医療現場の安全を支えます。
