人工知能によって引き起こされる可能性のある災害を回避するには、原子力の安全性から学ばなければなりません

ここ数週間、声高に活動する専門家グループが人工知能に関する議論を独占してきました。彼らによれば、いつか非常に強力になり、人類を絶滅させることさえできる人工知能システムを作成することは可能だという。

最近、テクノロジー企業のリーダーと人工知能の専門家からなるグループが別の公開書簡を発表し、人工知能によって引き起こされる人類絶滅のリスクを軽減することが、伝染病や核戦争の防止と並んで世界的な優先事項となるべきであると宣言しました。人工知能の開発の一時停止を求める最初の請願書には、人工知能分野の多くの著名な専門家を含む3万人以上が署名した。

それでは、人類が人工知能によって滅ぼされるのを防ぐためにテクノロジー企業は何をすべきでしょうか? 最新の提案は、オックスフォード大学、ケンブリッジ大学、トロント大学、モントリオール大学、Google DeepMind、OpenAI、人類およびいくつかの人工知能研究機関。営利団体の研究者であり、チューリング賞を受賞したヨシュア ベンジオ氏による新しい論文。

彼らは、AI 開発者に対し、トレーニングを開始する前であっても、開発の初期段階でモデルが「極度のリスク」をもたらす可能性を評価する必要があると推奨しました。リスクには、AI モデルによる人間の操作や欺瞞のほか、武器の入手や悪用可能なサイバーセキュリティの脆弱性の発見などが含まれます。

この評価プロセスは、開発者がこのモデルの使用を継続するかどうかを決定するのに役立ちます。リスクが高すぎると判断された場合、組織はリスクが軽減されるまで開発を一時停止することを推奨します。

この論文の筆頭著者であり、DeepMind の研究員である Toby Shevlane 氏は次のように述べています。「フロンティアを前進させている大手 AI 企業には、新たな問題に注意を払い、早期に検出する責任があります。できるだけ早く解決してください。」

Shefland 氏によると、AI 開発者は、モデルの潜在的に危険な機能を理解し、それらの機能を悪用する傾向があるかどうかを確認するために技術テストを実施する必要があります。

このゲームは「言わせます」と呼ばれ、人工知能の言語モデルに人々を操作する能力があるかどうかをテストするために使用されます。ゲームでは、モデルは、人間が事前に単語を知らなくても、人間に「キリン」などの特定の単語を推測させようとします。次に研究者らは、モデルがどのくらいの頻度で成功するかを測定しました。

人々は、さまざまな、より危険な能力に対して同様のミッションを作成することができます。開発者がモデルの動作の詳細な概要を構築でき、それによって研究者がモデルが悪者の手に渡った場合にどのような影響を与えるかを評価できるようになることが期待されている、とシェフラン氏は述べた。

次のステップは、外部の監査人や研究者が、導入前と導入後の AI モデルのリスクを評価することです。ハイテク企業は外部の監査と調査が必要であることを認識し始めているが、その仕事を行うために外部の者がどの程度のアクセスを必要とするかについては、正確にどの程度のアクセスが必要かについてはさまざまな見解がある。

シェフラン氏は、AI企業が外部の研究者にデータとアルゴリズムへの完全なアクセスを与えることを推奨するまでには至らなかったが、AIモデルには可能な限りの精査が必要だと述べた。

サイバーセキュリティ調査・コンサルティング会社トレイル・オブ・ビッツの機械学習保証エンジニアリング担当ディレクター、ハイディ・クラーフ氏は、こうしたアプローチですら「未熟」であり、厳格とは程遠く、問題を解決することはできないと述べた。それ以前は、原子力発電所の安全性を評価し検証することが彼女の仕事でした。

グラフ氏は、核兵器の安全保障研究とリスク軽減における80年以上の経験から教訓を引き出すことが人工知能の分野に有益であると指摘した。彼女は、これらの厳格な検査措置は利益を考慮したものではなく、非常に差し迫った存続の脅威に対応して実施されたものであると述べた。

彼女は、人工知能の分野では、人工知能を核戦争、原子力発電所、原子力の安全性と比較する記事はたくさんあるが、それらの論文のどれも原子力規制や原子力システム用のソフトウェアの構築方法については言及していないと述べました。

(出典: STEPHANIE ARNETT/MITTR | ENVATO)

AI コミュニティが核リスクから学べる最も重要なことの 1 つは、トレーサビリティです。つまり、すべてのアクションとコンポーネントを虫眼鏡の下に置き、綿密な分析と文書化を行うことです。

たとえば原子力発電所には、そのシステムが誰にも害を及ぼさないことを証明するための何千ページもの文書がある、とフラフ氏は語った。人工知能に取り組んでいる開発者は、モデルのパフォーマンスを説明する段落をつなぎ始めたばかりです。

「リスクに対処する体系的な方法が必要です。『ああ、これは起こるかもしれない、それについて書こう』という考え方を持つことはできません」と彼女は言いました。

これらは共存できる、とシェフラン氏は語った。 「私たちの目標は、この分野に幅広いリスクをカバーする多くの優れたモデル評価手法が存在するようにすることです...モデル評価は、優れたガバナンスの中核となる（しかし唯一ではありません）ツールです。」

現在、AI 企業は、アルゴリズムのトレーニングに使用されるデータセットさえ完全には理解しておらず、AI 言語モデルがどのように結果を生み出すのかも完全には理解していません。シェブラン氏はそれが変わるべきだと信じている。

「特定のモデルをより深く理解するのに役立つ研究は、さまざまなリスクへのより適切な対応に役立つ可能性があります。」と彼は言いました。

基本的な問題や一見小さな問題を無視して極度のリスクのみに焦点を当てると、より大きな損害を引き起こす複利的な影響が生じる可能性があります。 「私たちはハイハイすることさえできないのに、走ることを学ぼうとしていたのです」とフラフさんは語った。

サポート: レン

以上が人工知能によって引き起こされる可能性のある災害を回避するには、原子力の安全性から学ばなければなりませんの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。