賢くなった日の止まり方
■ 良くなった所の陰で、別の動きが変わっていた
白石さんは、夜のうちにハコブくんのAIを新しい版にした。廊下の曲がり方が、ずっと滑らかになるはずだった。実際、ハコブくんは廊下の角を滑らかに曲がってきた。ところが、角から出てきた大城さんの手前で止まる位置が、いつもより30cm近い。大城さんは思わず「近っ！」と声を上げた。
■ 学習したAIは、狙った所だけを変えてはくれない
学習したAI（たくさんの例から動き方を身につける仕組み）は、一部を良くしようと更新しても、ほかの動きまで変わることがある。白石さんがログ（動いた記録）を見ると、曲がり方と一緒に止まる距離も変わっていた。ハコブくんの言うとおり、止まり方の確認は更新の項目になかった。確かめていない所は、変わっても誰も気づかない。
■ 結論：人を守る止まり方は、更新のたびに確かめ直す
白石さんは、更新のたびに確かめる表に「人の前で止まる距離」を書き足した。前の版に戻したハコブくんは、いつもの距離で止まる。人を守る止まり方は、学習とは別の仕組みで持っておく。そのうえで、更新のたびに変わらず効くことを確かめて記録する。大城さんの「直す前に、確かめてね」は、現場に出す前に確かめるという順番のことだ。
動きを良くした日は、止まり方も確かめる日にする。
