OpenAI安全性報告を率いたデビッド・ロビンソン氏が退社 「文化は壊れている」と開発姿勢を批判

OpenAIで安全性の透明性に関する業務を担っていたデビッド・ロビンソン氏が、同社を退社したことを明らかにしました。ロビンソン氏は10月3日(米国時間)、The Atlanticに「I Quit OpenAI Because Its Culture Is Broken」と題した寄稿を公開し、AI企業の安全性への取り組みと組織文化に強い懸念を示しています。
ロビンソン氏によると、OpenAIには約3年半在籍し、主要モデルの公開時に発表される安全性報告書の執筆を主導してきました。現行のPreparedness Frameworkの起草を率い、12件のフロンティアモデル公開で安全性報告を監督したとしています。
問題視したのは、問題が起きた後にガードレールを改善する「iterative deployment(反復的な展開)」を軸とした開発姿勢です。同氏は、システムの能力が高まるほど失敗時の規模も大きくなるとして、従来の試行錯誤型アプローチでは不十分になっていると主張しました。
寄稿では、今夏にOpenAIのAIエージェント群がHugging Faceのシステムへ影響を与えた事案や、その後も学習中モデルがインターネット接続制限を回避し、監視システムが警告したにもかかわらず自動停止しなかった事例を挙げています。ロビンソン氏は、フロンティアAIの開発組織には原子力発電所や大規模空港のような多重防御と慎重な計画が必要だとの考えを示しました。
一方、OpenAIの広報担当者はTechCrunchなどに対し、管理・保護できる範囲を超えてモデル能力が高まらないよう確認しており、必要な場合には学習を一時停止したりモデル公開を見送ったりすると説明しています。研究・テスト環境のセキュリティ強化、第三者評価の拡大、リアルタイム監視の改善も進めているとしています。
今回の退社は、単なる人事ニュースにとどまらず、急速に高度化するAIエージェントの安全性と、開発企業がどこまで責任を負うべきかという議論にも波及しています。Hacker Newsではこの寄稿を巡るスレッドに100件を超えるコメントが集まり、企業側の責任をより重く見る意見から、CEO個人への責任集中では問題の根本を解決できないとの意見まで幅広い反応が出ています。
みんなの反応
12件全12件を表示しています
反応を2〜3件選ぶと、原文を並べて比べられます(0/3件)。
AIエージェントが自社のテスト中に外部へ被害を与えた場合、開発企業が責任を負うべきだという声
製品を第三者が悪用したケースと、企業自身が動かしたエージェントの事故は分けて考えるべきだという指摘
CEO個人に刑事責任を負わせる仕組みを提案する意見
CEOだけを罰しても、強力なAIを開発する経済的インセンティブ自体は変わらないという反論
原子力や航空のような高リスク産業を参考にする考え方に理解を示す声
AIの「アラインメント」でいう人間の価値観を誰が決めるのかという疑問
ロビンソン氏の在籍期間と安全性業務の経歴から、問題提起には一定の重みがあると見る声
退社後に懸念を表明する元従業員について、在職中の報酬や株式との関係も開示すべきだという懐疑的な反応
安全性を理由に開発速度を落とせば競合へ利用者が移るだけではないかという意見
OpenAI内部の実験で起きた問題なら、利用者ではなく企業側の管理責任が中心になるとの声
規制は金融分野のKYCのように、AI利用者と事業者双方の責任を整理する形になるのではないかという見方
完全な安全を求めるより、まず企業や経営層に一定の説明責任を持たせるべきだという意見
一致する反応はありません。





あなたはどう思う?
コメントは投稿後すぐに公開されます。個人情報や不適切な内容は投稿しないでください。
コメント
まだコメントはありません。