Supervisor Agent詳解：AIの「暴走」を防ぐ監査システム
返金金額の幻覚、在庫の誤認識、不適切な約束——これらをリアルタイムで防ぐ仕組みを公開。
「お客様、大変申し訳ございません。全額返金させていただきます」
導入から2週間後のことでした。あるラーメン店のAIが、クレーム対応中にこう答えました。問題は、この店舗では「全額返金」の権限をAIに与えていなかったことです。そもそも、ラーメン1杯の代金の全額返金は、通常あり得ない対応でした。
店長から連絡を受けたとき、私たちは血の気が引きました。
AIは「嘘をつく」
正確には、AIは嘘をついているわけではありません。しかし、知らないことを自信満々に語ることがあります。業界では「幻覚」と呼ばれる現象です。
存在しない割引を約束する。売り切れの商品を勧める。店のルールを無視した対応をする——これらはすべて、AIの「幻覚」が引き起こす問題です。
あのラーメン店の件以降、私たちは一つの結論に達しました。AIを信頼しきることはできない。でも、AIを使わないという選択肢ももうない。
だとしたら、AIを「監視」する仕組みが必要だ、と。
見張り番を作る
私たちが構築したのは「Supervisor Agent」——AIの出力を、お客様に送信する前にリアルタイムでチェックする監視システムです。
仕組みは単純です。AIが生成したすべての返答は、送信前に複数の検証を通過しなければなりません。金額が正しいか？在庫状況と矛盾していないか？AIに与えられた権限を超えていないか？
一つでも問題があれば、その返答はブロックされます。
0.3秒の攻防
しかし、検証には時間がかかります。お客様を長く待たせるわけにはいきません。
私たちは検証を並列処理することで、この問題を解決しました。金額検証、在庫検証、権限検証、個人情報検証——これらを同時に実行し、平均0.3秒で完了させています。
お客様にとっては、ほぼ待ち時間なし。でも裏側では、この0.3秒の間に4つの異なる検証が走っているのです。
止める勇気、繋ぐ判断
すべてを自動化できるわけではありません。Supervisorが「危険」と判断した場合、AIは返答を保留し、人間のオペレーターにエスカレーションします。
「申し訳ございません、担当者に確認いたしますので、少々お待ちください」——この一文が、大きなトラブルを未然に防ぎます。
あのラーメン店の件以降、Supervisorが防いだ「危険な返答」は、1日平均12件。小さな数字に見えるかもしれませんが、それぞれが店舗の信頼に関わる問題でした。
AIの力を解放しながら、その暴走を防ぐ。この両立が、私たちの目指すところです。