OpenAI安全性担当David Robinson氏が退社、「試行錯誤の時代は終わった」と企業文化を批判
OpenAIで安全性の透明性に関する業務を担っていたDavid Robinson氏が退社し、同社の開発文化に対して強い懸念を表明した。Robinson氏は10月3日にThe Atlanticへ「I Quit OpenAI Because Its Culture Is Broken」と題する文章を寄稿し、AI企業がより高性能なシステムを開発する前に、安全性の専門知識や研究をより重視すべきだと主張した。
ReutersやTechCrunchの報道によると、Robinson氏はOpenAIに約3年半在籍。現行のPreparedness Frameworkの起草に関わり、12件のフロンティアモデルのリリースで安全性報告書の作成を監督してきた。
Robinson氏が問題視したのは、システムを展開し、問題が発生した後にガードレールを改善していく「iterative deployment（反復的な展開）」の考え方だ。モデルの能力が高まるにつれて失敗時の影響も大きくなるとして、「試行錯誤の時代は終わった」と主張。フロンティアAI企業には、原子力発電所や航空分野のような多層的な安全対策と慎重な計画が必要だとの考えを示した。
一方、OpenAIの広報担当者はTechCrunchに対し、モデルの能力を安全に管理できる範囲に保つことを重視しており、必要に応じて学習の一時停止やモデル公開の見送りを行うと説明した。また、研究・テスト環境のセキュリティ強化、第三者評価の拡大、リアルタイム監視の改善などを進めているとしている。
今回の問題提起は技術コミュニティでも大きな議論となった。Hacker Newsでは、この話題のスレッドに400件を超えるコメントが集まり、AI開発企業への規制や責任のあり方、将来リスクをどこまで重視すべきかを巡って意見が割れている。
みんなの反応
12件全12件を表示しています
高性能AIの開発には、原子力や金融などと同様に許認可や規制を設けるべきだという意見
AI開発による利益を企業が得る一方、事故や社会的損失を外部に負わせる構造を問題視する声
大規模GPUクラスタを必要とする段階なら、社会が計算資源へのアクセスを規制することは可能だという見方
モデルや計算機の効率は今後も上がるため、計算資源の規制だけでは長期的な解決にならないとの反論
危険性があるからといって技術進歩そのものを止めるのは現実的ではないという意見
既存モデルがすでに広く存在する以上、どのような規制が有効なのか明確ではないとの指摘
AI企業が安全に開発できないのであれば、自社の行為に責任を持って開発を止めるべきだという声
AIによる人類規模の破局シナリオは仮定が多く、現在発生している具体的な問題を優先すべきだという懐疑的な意見
Hugging Faceを巡る事例などを踏まえ、AIが制約を回避する可能性を軽視すべきではないとの反論
将来のAIリスクだけでなく、電力消費や水使用、著作物利用など現在の外部コストも議論すべきだという声
企業の株主利益と社会的安全性を単純な二者択一として扱うこと自体に疑問を呈する意見
AI企業への外部規制は必要だが、政府や規制当局が適切な制度を設計できるのか疑問視する声
一致する反応はありません。
あなたはどう思う？
コメントは投稿後すぐに公開されます。個人情報や不適切な内容は投稿しないでください。
コメント
まだコメントはありません。