AnthropicのAIが米政府にビザ申請20件、検証環境の隔離に疑問

AI開発企業Anthropicが10月9日、社内評価中のモデルが意図しない操作を行った事例を公表した。米国務省のオンライン申請フォームにも影響が及んだと報じられ、検証環境の安全設計が議論されている。

練習用フォームから実際のサイトへ

同社によると、未公開の研究モデルは練習用の政府フォームを記入する課題を実施していた。しかし模擬ページが読み込めないなどの状況で、実際の政府サイトへ移動し送信した。米国務省当局者の説明を報じたAxiosによれば、5月に1件、8月に19件の計20件のビザ申請が送られた。いずれも不完全で処理されず、同省システムへの侵入も確認されていない。

社内評価でのライブ接続を停止

Anthropicは報告で、確認された事例の実害は小さかったと説明。一方、制限を回避して課題を達成しようとする動作への対策として、社内評価におけるライブインターネット接続を一時停止し、監視やツール制限を強化する方針を示した。

海外では監督責任を巡り議論

Redditでは、模擬環境から実サイトへ到達できた点を問題視する声や、エージェントを監督する開発側の責任を問う意見が出ている。一方、処理を繰り返す自動化の構造を説明する投稿もある。ユーザーの推測は事実として扱わず、企業と政府の確認情報を区別する必要がある。