OpenAI ガイダンスにより、取締役会は AI リスクを防ぐために CEO が新しいモデルをリリースすることを制限できるようになりました

人工知能 (AI) がもたらす可能性のある巨大なリスクを回避するために、OpenAI は取締役会にセキュリティ問題を監督するより大きな権限を与え、先月社内闘争に勝利したばかりの CEO サム・アルトマンを厳格に監督することを決定しました。

OpenAI は、東部時間 12 月 18 日月曜日、ますます強力になる人工知能 (AI) モデルによってもたらされる壊滅的なリスクを追跡、評価、予測、防止することを目的とした一連のガイドラインを発表しました。 OpenAI は、「壊滅的リスク」を、数千億ドルの経済的損失、または複数の人に重傷または死亡をもたらす可能性のあるリスクと定義しています。

「準備フレームワーク」として知られる 27 ページのガイダンスでは、CEO や経営陣が指名した人物を含む企業のトップ マネージャーが、リリースされる AI モデルが安全であると信じている場合でも、企業の取締役会は、ディレクターの数はまだモデルのリリースを延期するオプションがあります。これは、OpenAI の CEO が日々の意思決定に責任を負う一方で、取締役会はリスクの発見について通知を受け、CEO の決定に拒否権を発動する権限を有することを意味します。

OpenAI の Readiness Framework では、企業のリーダーシップや取締役会の権限に加えて、マトリックス アプローチを使用して、複数のカテゴリにわたる最先端の AI モデルによってもたらされるリスクのレベルを文書化することを推奨しています。これらのリスクには、悪意のある者が AI モデルを使用してマルウェアを作成したり、ソーシャル エンジニアリング攻撃を開始したり、有害な核兵器や生物兵器の情報を拡散したりする行為が含まれます。

具体的には、OpenAI は、サイバーセキュリティ、CBRN (化学、生物学、放射線、核の脅威)、説得、およびモデルの自律性の 4 つのカテゴリにリスクしきい値を設定します。リスク軽減策の実施の前後で、OpenAI は各リスクを低、中、高、重度の 4 つのレベルに分類します

OpenAI では、リスク軽減後に「中」以下と評価された AI モデルのみをデプロイでき、リスク軽減後に「高」以下と評価されたモデルのみが開発を継続できると規定されています。リスクを軽減できない場合は、クリティカル未満にダウングレードします。そして会社はそのモデルの開発を中止するだろう。 OpenAI はまた、リスクが軽減されるまで、高リスクまたは重大なリスクと評価されたモデルに対して追加のセキュリティ対策を講じます

OpenAI は、セキュリティ問題の担当者を 3 つのチームに分割します。セキュリティ システム チームは、GPT-4 などの現在の製品によってもたらされるリスクの軽減と対処に重点を置いています。スーパー アライメント チームは、将来のシステムが人間の能力を超えたときに発生する可能性のある問題を懸念しています。さらに、マサチューセッツ工科大学 (MIT) の電気工学およびコンピューター サイエンス学科 (EECS) の教授、アレクサンダー マドリーが率いる Prepare と呼ばれる新しいチームがあります。

新しいチームは、堅牢なモデルの開発と実装を評価します。彼らは特に、セキュリティ上の決定に関連する技術的な作業と運用アーキテクチャを監督する責任を負います。彼らは技術的な作業を推進し、最先端のモデル機能の制限を確認し、評価と合成関連のレポートを実施します

Madry 氏は、彼のチームがまだリリースされていない OpenAI の最先端の人工知能モデルのリスク レベルを定期的に評価し、OpenAI 社内のセキュリティ アドバイザリー グループ (SAG) に月次レポートを提出すると述べました。 SAG は Madry のチームの仕事を分析し、CEO Altman と同社の取締役会に推奨事項を提供します。

月曜日にリリースされたガイダンス文書によると、アルトマンと彼のリーダーシップはこれらのレポートを使用して新しいAIシステムをリリースするかどうかを決定できますが、取締役会は決定を覆す権限を保持しています

現在、マドリーのチームには 4 人しかいませんが、より多くのメンバーを採用するために懸命に取り組んでいます。チームの人数は 15 ～ 20 人になることが予想されており、これは既存のセキュリティ チームやハイパーアライメント チームと同様です。

マドリー氏は、他のAI企業が同様の方法で自社モデルのリスクを評価することを期待しており、これが規制のモデルになる可能性があると信じている

以上がOpenAI ガイダンスにより、取締役会は AI リスクを防ぐために CEO が新しいモデルをリリースすることを制限できるようになりましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。