Anthropic、外部評価者6人に社内アクセス 独立性に議論

Anthropicは10月15日、AIの安全性を外部から評価する非営利団体METRの担当者6人を、社内の評価業務に近い環境で受け入れたと発表した。16日には情報公開条件の説明を更新している。

6人が社内ツールを利用、評価結果は公表可能

対象者には会社の機材と執務スペースが提供され、リスク評価チームにおおむね準じた内部ツールへのアクセスが認められる。METRはモデルのリスクや運用上の問題を調査し、評価結果を公表できる。Anthropicは公表自体を拒否できないと説明する一方、顧客データ、法的秘匿情報、モデル構造などについては情報の削除を求められる。

3段階の外部評価制度と残る課題

Anthropicは評価者の権限を3段階に分け、METRを最も広いアクセスを持つ第3段階に位置付けた。別団体のSecureBioも限定的な評価に取り組んでいる。ただし、今回の発表は評価の仕組みを示したもので、特定モデルの安全性が独立して証明されたことを意味しない。

海外では独立性と公開範囲を議論

海外掲示板では「社員並み」という権限の定義が曖昧だと指摘する声や、外部評価の進展を評価する声が見られた。資金提供元との関係や、公開前に削除される情報の範囲を気にする意見もある。今後は、METRが実際にどのような評価結果を公表できるかが焦点となる。