ChatGPTの普及がもたらすAIネットワークセキュリティへの思い

1. 人工知能開発の軌跡

人工知能 (Aritificial Intelligene) の概念が 1956 年のダーマス大学夏季学術シンポジウムで初めてジョン マッカーシーによって提案される前に、人間はすでに人間を機械に置き換えていました。重労働で反復的な作業に取り組む道を模索中。

1882 年 2 月、ニコラ テスラは 5 年間悩み続けた交流発電機のアイデアを完成させ、「今後、人間はもはや重労働に奴隷にされることはなくなります。機械が人間を解放するでしょう」と喜びを叫びました。そして全世界もそうなるでしょう。」

1936 年、数学には決定不可能な命題が存在することを証明するために、アラン チューリングは「チューリング マシン」のアイデアを提案しました。1948 年、彼は論文「」でコネクショニズムの内容のほとんどを説明しました。そして 1950 年に「COMPUTING MACHINERY AND INTELLIGENCE」を出版し、有名な「チューリング テスト」を提案しました。同年、マービン・ミンスキーとクラスメートのダン・エドマンドは世界初のニューラルネットワークコンピュータを構築した。

1955 年、フォン ノイマンはイェール大学でのシリマン講義への招待を受け入れ、講義の内容は後に『THE COMPUTER AND THE BRAIN』という本にまとめられました。

人工知能は、1956 年に提案されてから今日に至るまで、3 つの開発の頂点を経験しました。

最初の開発のクライマックス: 1956 年から 1980 年までは、エキスパート システムと古典的な機械学習に代表される象徴主義 (Symbolism) が主流でした。第一世代の人工知能としても知られるシンボリズムは、推論、計画、意思決定など、人間の合理的な知的行動をシミュレートするための知識と経験に基づく推論モデルを提案しています。したがって、人間の推論と思考行動をシミュレートするために、知識ベースと推論メカニズムがマシン内に確立されます。

シンボリズムの最も代表的な成果は、1997 年 5 月に IBM のチェス プログラムであるディープ ブルーが世界チャンピオン カスパロフを破ったことでした。成功には 3 つの要素があります。最初の要素は知識と経験です。ディープ ブルーは 700,000 件の分析を行いました人間のマスターによってプレイされるチェスのゲームと、5 ～ 6 のすべてのエンドゲームがチェスのルールにまとめられます。

その後、マスターとマシンの間のゲームを通じて、評価関数のパラメーターがデバッグされ、マスターの経験が完全に吸収されます。 2 番目の要素はアルゴリズムで、Deep Blue は非常に高速なアルファベータ プルーニング アルゴリズムを使用します。 3 番目の要素は計算能力で、当時 IBM が使用していた RS/6000SP2 マシンは、1 秒あたり 2 億ステップを分析し、1 秒あたり平均 8 ～ 12 ステップ進むと予測できました。

象徴主義の利点は、人間の推論と思考プロセスを模倣でき、人間の思考プロセスと一貫性があり、1 つの例から推論できるため、解釈可能であることです。しかし、象徴主義には非常に深刻な欠点もあります。第一に、専門知識が非常に不足しており、高価であることです。第二に、専門知識は手動プログラミングを通じてマシンに入力する必要があり、これには時間と労力がかかります。第三に、多くの労力がかかります。伝統的な中国医学の専門家が脈拍を摂取するなど、表現するのが難しい知識の経験は表現するのが難しいため、象徴主義の適用範囲は非常に限られています。

第 2 の発展のクライマックス: 1980 ～ 1993 年、象徴主義とコネクショニズムに代表される;

第 3 の発展のクライマックス: 1993 ～ 1996 年、深層学習コンピューティング能力とデータの大成功により、コネクショニズムは非常に人気があります;

ディープラーニングは、ディープ ニューラル ネットワーク モデルを通じて、視覚、聴覚、触覚などの人間の知覚をシミュレートします。ディープラーニングには 2 つの利点があり、1 つ目はドメインの専門知識を必要とせず、技術的な敷居が低いこと、2 つ目はネットワークの規模が大きくなるほど処理できるデータが大きくなるということです。

ディープラーニングの最も典型的な例の 1 つは Go プログラムです。 2015 年 10 月以前は、象徴主義、つまり知識主導の方法を使用して作成された囲碁プログラムは、最高レベルのアマチュア五段に到達することができました。 2015 年 10 月までに、囲碁プログラムは欧州チャンピオンを破り、2016 年 3 月までに世界チャンピオンを破りました。 2017 年 10 月までに、AlphaGo は AlphaGo を破りました。AlphaGo はディープ ラーニングを使用して、アマチュアからプロ レベル、プロ レベルから世界チャンピオン、そして世界チャンピオンから世界チャンピオンへと、囲碁プログラムのレベルを 3 倍の飛躍を達成しました。 。

AlphaGo は 2 年間で 3 倍の飛躍を達成しました。その成功は主に、ビッグ データ、アルゴリズム、計算能力という 3 つの側面から来ています。 AlphaGo は 3,000 万の既存のチェス ゲームを学習し、さらに 3,000 万のチェス ゲームを自分自身でプレイし、合計 6,000 万のチェス ゲームを実行しました。モンテカルロ木探索、強化学習、深層学習などのアルゴリズムを使用し、合計 1,202 個の CPU と 280 個の CPU を使用しました。計算するGPU。

ディープ ラーニングには、解釈できない、安全でない、一般化するのが難しい、大量のサンプルが必要であるなど、大きな制限もあります。例えば、人間の顔の写真を加工すると犬として認識されることがありますが、なぜそうなるのかは人間の理解を超えており、説明がつきません。

2016年、AlphaZeroの登場により強化学習に代表されるActionism(アクション主義)が大きな注目を集め、汎用人工知能への唯一の道として注目されました。

論理的推論に代表されるシンボリズムは知識によってインテリジェンスを駆動し、ディープラーニングに代表されるコネクショニズムはデータによってインテリジェンスを駆動しますが、どちらも大きな欠陥があり、適用範囲が限られています。

強化学習によって代表される行動主義は、知識、データ、アルゴリズム、計算能力の 4 つの要素を包括的に使用して、人間の脳のフィードバック、横のつながり、疎な放電、注意のメカニズム、マルチモダリティ、記憶などを統合します。このメカニズムの導入により、最初の 2 世代の人工知能の欠点が克服され、より幅広い用途が得られると期待されています。

2. 人間の脳の働きのいくつかのメカニズム

[予測とフィードバックのメカニズム]

脳は生涯を通じて世界を観察し、記憶モデルを確立します。日常生活では、脳は自動的かつ無意識のうちに以前の記憶モデルを比較し、次に何が起こるかを予測します。予測と矛盾する状況を検出すると、脳からフィードバックが発生します。

脳細胞が情報を伝達できる理由は、脳細胞が魔法の触手、樹状突起と軸索を持っているからです。脳細胞は、短い樹状突起を使用して他の脳細胞から情報を受け取ることができ、長い軸索を使用して他の脳細胞に情報を送信できます (下図を参照)。

# 情報は脳細胞間で継続的に伝達され、人間の感情や思考を形成します。以下の図に示すように、脳全体は相互接続された脳細胞の大きなネットワークです。

機械学習の分野では、このような人工ニューラル ネットワークを取得するには、まず、ニューラル ネットワークの構造、ネットワーク内にいくつのニューロンがあるか、およびニューロンがどのように接続されているかを指定する必要があります。次に、エラー関数を定義する必要があります。エラー関数は、ネットワークが現在どの程度良好に実行されているか、およびエラーを減らすためにネットワーク内のニューロン接続をどのように調整する必要があるかを評価するために使用されます。シナプスの強さは神経活動を決定し、神経活動はネットワーク出力を決定し、ネットワーク出力はネットワークエラーを決定します。

現在、「バックプロパゲーション」は、機械学習の分野で最も一般的に使用され、成功を収めているディープ ニューラル ネットワーク トレーニング アルゴリズムです。バックプロパゲーションでトレーニングされたネットワークは、最近の機械学習の波において主力の地位を占めており、音声認識や画像認識、言語翻訳などで良好な結果を達成しています。

また、教師なし学習の進歩も促進します。教師なし学習は、画像や音声の生成、言語モデリング、および一部の高次の予測タスクにおいて不可欠となっています。バックプロパゲーションは強化学習と連携して、Atari ゲームをマスターしたり、囲碁やポーカーで人間のトッププレイヤーを破ったりするなど、多くの制御問題 (制御問題) を完了できます。

バックプロパゲーション アルゴリズムは、エラー信号をフィードバック接続に送信して、ニューラル ネットワークによるシナプス強度の調整を支援します。教師あり学習の分野で非常に一般的に使用されています。しかし、脳内のフィードバック接続には異なる機能があるようで、脳の学習の多くは監視されていません。したがって、バックプロパゲーションアルゴリズムは脳のフィードバックメカニズムを説明できるのでしょうか?現在、明確な答えはありません。

[脳内接続]

人間の脳におけるニューロン間の特殊な接続方法は、人間の脳の特異性を研究する上で重要な方向性です。この研究では磁気共鳴画像法が重要なツールであり、この技術により、頭蓋骨を開くことなく、ニューロンから伸びて異なる脳領域を接続する長い線維を視覚化することができます。これらの接続は、ニューロン間で電気信号を運ぶワイヤーのように機能します。これらの接続はまとめてコネクトームと呼ばれ、脳がどのように情報を処理するかに関する手がかりを提供します。

各神経細胞が他のすべての神経細胞に接続されていると仮定すると、この 1 対多の接続グループが最も効率的です。しかし、このモデルはすべての接続に対応し、通常の動作を維持するために多くのスペースとエネルギーを必要とするため、明らかに実現可能ではありません。もう 1 つのモードは 1 対 1 接続で、各ニューロンは他の 1 つのニューロンにのみ接続されます。この種の接続はそれほど難しくありませんが、効率も低くなります。情報が点 A から点 B に到達するためには、飛び石のように多数の神経細胞を通過する必要があります。

「現実の生活はその中間にあります」と、123 種の哺乳類のコネクトームの調査結果を Nature Neuroscience に発表したテルアビブ大学のヤニフ・アサフ氏は言​​います。研究チームは、ある場所から別の場所に情報を得るために必要な飛び石の数は、異なる種の脳でほぼ同じであり、使用される接続も同様であることを発見した。ただし、脳内の接続のレイアウトが実現される方法には、種によって違いがあります。 2 つの半球間に長距離接続がほとんどない種では、各半球にはより短い接続が存在する傾向があり、半球内の隣接する脳領域は頻繁に通信します。

[記憶]

人間の脳には数十億の神経細胞があり、それらはシナプスを通じて相互作用し、非常に複雑な相互接続を形成しています。記憶は脳の神経細胞間の相互呼び出しであり、相互呼び出しの中には短期間のもの、長期間持続するもの、およびその中間のものもあります。

脳ニューロン間の相互作用には 4 つの基本的な形式があります:

• 単純興奮: 1 つのニューロンが興奮すると、接続されている別のニューロンも興奮します。
• 単純な抑制: 1 つのニューロンが興奮すると、接続されている別のニューロンの感覚閾値が増加します。
• 正のフィードバック: 1 つのニューロンの興奮は、接続されている別のニューロンの興奮を刺激し、その結果、直接的または間接的に前者の興奮閾値が低下するか、前者の感覚シナプスに信号がフィードバックされます。
• 負のフィードバック: 1 つのニューロンの興奮は、接続されている別のニューロンの興奮を刺激し、その結果、直接的または間接的に前者の興奮閾値が上昇し、前者の興奮性が低下します。

人間の脳には、異なる活動を行う多くの種類のニューロン細胞があり、それぞれ短期、中期、長期の記憶を担っています。

活動的なニューロン細胞は短期記憶を担当しており、その数は少なく、人の短期反応能力を決定します。このタイプの細胞が神経信号によって刺激されると、その感知閾値は一時的に低下しますが、そのシナプスは一般に増殖せず、感知閾値の低下は数秒から数分しか持続せず、その後通常のレベルに戻ります。

中性ニューロン細胞は、中程度の数で中期記憶を担当し、人の学習適応性を決定します。この種の細胞が適切な量の神経信号によって刺激されるとシナプスの増殖が起こりますが、このシナプスの増殖は遅く、大きな変化を形成するには複数回の刺激が必要であり、増殖状態は数日から数週間しか持続しません。劣化に。

怠惰なニューロン細胞は長期記憶を担っており、その数が多いほど人間の知識蓄積能力が決まります。この種の細胞は、多数の繰り返し神経信号によって刺激された場合にのみシナプス増殖を起こし、このシナプス増殖は非常に遅く、大きな変化を形成するには何度も繰り返し刺激する必要がありますが、増殖状態は数か月から数十年維持されます。 、劣化しにくい。

脳の神経細胞が刺激されて興奮すると、そのシナプスは増殖したり、誘導閾値が低下します。頻繁に刺激され、興奮を繰り返す脳の神経細胞のシナプスは、他のシナプスに比べて小さくなります。刺激や興奮が少ない人は、より強い信号送信能力と信号受信能力を持っています。

互いに隣接するシナプスを持つ 2 つの神経細胞が同時に刺激されて同時に興奮すると、2 つの神経細胞のシナプスは同時に増殖し、隣接するシナプス間のシナプスが増加します。この同期刺激が何度も繰り返されると、隣接する 2 つの神経細胞のシナプスペア間の相互作用が一定の強さ（ある閾値以上）に達すると、興奮の伝播現象が起こります。これは、いずれかのニューロン細胞が刺激されて興奮すると、別のニューロン細胞が興奮し、その結果、ニューロン細胞間に相互エコー接続、つまり記憶接続が形成されることを意味します。

したがって、記憶とは、ニューロン細胞間の接続の滑らかさによって決定される想起可能性を指します。つまり、ニューロン細胞間の接続の強度が誘導閾値よりも大きく、ニューロン間に明示的な接続が形成されます。これが脳の記憶の性質です。

[注意メカニズム]

人間の脳が文章を読むとき、それは厳密な解読プロセスではなく、パターン認識プロセスに近いものです。脳は可能性が低く価値の低い情報を自動的に無視したり、文脈情報に基づいて読書内容を「脳が正しいと考えるバージョン」に自動的に修正したりする、いわゆる人間の脳の注意力です。

「注意メカニズム」とは、機械学習において人間の脳の注意を模倣するデータ処理手法であり、自然言語処理、画像認識、音声認識などのさまざまな機械で広く利用されている学習タスクです。たとえば、機械翻訳では、RNN (リカレント ニューラル ネットワーク) の応用である「LSTM アテンション」モデルがよく使用されます。各ニューロンには入力ゲート、出力ゲート、および忘却ゲートがあることが簡単に理解できます。入力ゲートと出力ゲートは LSTM ニューロンを端から端まで接続しますが、忘れゲートは無意味な内容を弱めるか忘れます。 「注意メカニズム」は LSTM の忘却ゲートに適用され、機械による読書を人間の読書習慣に近づけ、また翻訳結果を文脈に沿ったものにします。

【マルチモーダルニューロン】

15年前、キロガらは人間の脳にマルチモーダルニューロンがあることを発見しました。これらのニューロンは、特定の視覚的特徴ではなく、高レベルのテーマを取り巻く抽象的な概念に反応します。その中で最も有名なものは、アメリカの女優「ハル・ベリー」の写真、スケッチ、テキストにのみ反応する「ハル・ベリー」ニューロンで、この例は「サイエンティフィック・アメリカン」や「ニューヨーク・タイムズ」でも使用されています。 」 [11]。

OpenAI によってリリースされた CLIP は、マルチモーダル ニューロンを使用して、パフォーマンスが ResNet-50 に匹敵する一般的なビジョン システムを実現します。一部の困難なデータ セットでは、CLIP のパフォーマンスは既存のシステムのパフォーマンスを上回ります。一部のビジュアル システム。

機械学習はマルチモーダル ニューロンを導入します。これは、データ セマンティクス、知識セマンティクスを含む、テキスト、音声、画像、ビデオなどのマルチモーダル データおよび情報の深い多次元意味論的理解を指します。 、視覚セマンティクス、音声セマンティクス統合、自然言語セマンティクス、およびその他の多面的な意味理解テクノロジ。たとえば、ビジュアル セマンティクスを使用すると、機械がビデオをはっきりと見ることから理解できるようになり、構造化されたセマンティック知識を抽出できるようになります。

3. インテリジェント システムの基本コンポーネント

自動運転システムは代表的なインテリジェント システムであり、米国 SAE 自動運転分類基準では、自動運転システムを自動化の程度に応じて 5 つのレベルに分類しています。

##L0自動化なし ドライバーは、ステアリング、ブレーキ、加減速などのすべての操作タスクを実行します。 L1運転支援ドライバーは待機中です。車両 自動運転システムは、加速、制動、周囲環境の監視をすべて処理します。 #L2L3

車両の自動運転システムの分類からわかるように、インテリジェント システムの L0 レベルは完全に人間の意思決定であり、L1 ～ L2 レベルは機械が全データに基づいてデータの照合と分析を行う部分であり、人間が推論、判断、決定を行う、いわゆるデータドライブモード、L3～L4は、すべてのデータに基づいてデータの分類、分析、論理的推論、判断、意思決定を行う機械ですが、最終的には人間の介入が必要です。 L5 は人間の介入を必要としない完全にインテリジェントなマシンであり、いわゆるインテリジェント ドライブ モードです。

機械がインテリジェントであるためには、つまり機械がインテリジェントシステムになるためには、少なくとも次の図に示されているコンポーネント (知覚、認識、理解、意思決定、および行動) を備えている必要があります。 。

センシング コンポーネントの役割は、環境を監視してデータを収集することであり、出力はデータです。本質は、物理空間をデジタル化し、物理空間をデータ空間に完全にマッピングすることです。

認知コンポーネントの役割は、データを整理して要約し、有用な情報を抽出することです。

理解コンポーネントの機能は、抽出された情報をさらに絞り込み、要約して知識を取得することです。人間が理解する知識は自然言語で表現され、機械の場合は問題空間を表すデータセットでトレーニングされた「モデル」で表現されます。

意思決定コンポーネントの役割は、知識に基づいて推論と判断を行うことです。マシンにとっては、訓練されたモデルを使用して、新しいデータ空間で推論と判断を実行し、対象タスクの戦略を生成することです。

アクション コンポーネントの役割は、戦略に基づいて環境と対話し、環境に影響を与えることです。

フィードバック コンポーネントの機能は、アクションが環境に作用した後にフィードバックを形成することです。フィードバックは、知覚システムがより多くのデータを認識することを促進し、それによって継続的により多くの知識を取得し、対象のタスクについてより適切な意思決定を行います。閉ループの継続的な反復進化を形成します。

4. インテリジェント セキュリティ

人工知能とネットワーク セキュリティの組み合わせには、常に 2 つの次元と 4 つの象限があります[9]: 垂直方向では、一方の端はインテリジェンスにセキュリティを提供し、もう一方の端はインテリジェンスにセキュリティを提供します。インテリジェンスを備えたセキュリティを提供することです。水平的には、一方の端は攻撃の観点、もう一方の端は防御の観点です。以下の図に示すように、4 つの象限は、この 2 つの組み合わせによる 4 つの機能を表しています。

インテリジェントなセルフセキュリティには、悪用される可能性のあるインテリジェント テクノロジー自体 スマート テクノロジー自体の脆弱性によってもたらされる脆弱性とセキュリティの問題。主に人工知能を活用したビジネスセキュリティ、アルゴリズムモデルセキュリティ、データセキュリティ、プラットフォームセキュリティなどが含まれます。

アルゴリズム モデルのセキュリティ問題には、主に、モデル トレーニングの整合性の脅威、テストの整合性の脅威、モデルの堅牢性の欠如、モデルのバイアスの脅威などが含まれます (バイパス攻撃 (敵対的サンプルによるモデルの決定と結果の操作))。 、ポイズニング攻撃 (悪意のあるデータを注入してモデルの信頼性と精度を低下させる)、推論攻撃 (特定のデータがモデルのトレーニングに使用されたかどうかを推論する)、モデル抽出攻撃 (悪意のあるクエリ コマンドを通じてアルゴリズムの詳細を公開する)、モデル反転攻撃 (出力データ推論による) （入力データ）、再プログラミング攻撃（不正な目的でAIモデルを変更する）、属性推論攻撃、トロイの木馬攻撃、バックドア攻撃など。データ セキュリティには主にモデル出力に基づくデータ漏洩と勾配更新に基づくデータ漏洩が含まれ、プラットフォーム セキュリティにはハードウェア デバイスのセキュリティ問題とシステムおよびソフトウェアのセキュリティ問題が含まれます。

人工知能のこうした不安な問題に対する防御技術には、主にアルゴリズムモデルの自己セキュリティ強化、AIデータセキュリティとプライバシー漏洩防御、AIシステムセキュリティ防御が含まれます。アルゴリズム モデルのセルフセキュリティ強化テクノロジーには、トレーニング データ指向の防御 (敵対的トレーニング、勾配隠蔽、転送可能性のブロック、データ圧縮、データのランダム化など)、モデル指向の防御 (正則化、防御的蒸留、特徴のクラウディング、など）圧縮、深層縮小ネットワーク、隠蔽防御など）、特定の防御、堅牢性強化、解釈可能性強化など; AIデータセキュリティとプライバシー漏洩防御技術には、主にモデル構造防御、情報混同防御、クエリ制御防御、等

インテリジェンスにセキュリティを与えるとは、インテリジェント テクノロジ自体によってもたらされる新しい脆弱性を指します。これは攻撃者によって悪用される可能性があり、防御者に新たなセキュリティ リスクをもたらす可能性があります。

セキュリティ インテリジェンスの提供とは、攻撃者がインテリジェント テクノロジを使用して攻撃を実行できること、防御者がインテリジェント テクノロジを使用してセキュリティ保護機能を向上できることを意味します。主にセキュリティ対応の自動化とセキュリティの意思決定の自律性に反映されます。現在、セキュリティ対応の自動化を改善するための主流の方法は 2 つあります:

• SOAR、セキュリティ オーケストレーション、自動化と対応、セキュリティ オーケストレーション、自動化、対応、
• OODA、Obeserve-Orient-Decide -Act、Observe-Adjust-Decision-Action、IACD（Integrated Adaptive Cyber​​ Defense Framework）はOODAを枠組みとしています。

次の図は、SOAR を中心とした自動応答ワークフローの概略図です。

1994 年、認知科学者のスティーブン ピンカーは、「言語本能」の中で、「人工知能にとって、難しい問題は解決するのが簡単です。単純な問題は解決するのが困難です」と書いています。解決する。" 「単純複合問題」とは、問題空間は閉じているが、問題自体の複雑性が高いことを意味し、例えば囲碁を打つことは単純複合問題である。 「複雑で単純な問題」とは、問題空間は無限に開いているが、問題自体はそれほど複雑ではないことを意味します。

たとえば、ネットワーク セキュリティの問題は複雑な問題もあれば単純な問題もあり、セキュリティ攻撃の技術や手法は常に変化しているため、すべてを網羅的にリストすることは不可能ですが、特定のネットワーク攻撃に関して言えば、 、痕跡がよくあります。

今日の知能テクノロジーは、「単純で複雑な問題」の分野では人間よりも強いことが多いですが、「複雑で単純な問題」については、一般化境界による宇宙爆発により人工知能が失敗することがよくあります。

残念ながら、サイバーセキュリティ問題は複雑で単純な問題であり、サイバーセキュリティ問題分野での人工知能の適用は課題に直面しています。特にモラベック・パラドックス（人工知能とロボット工学の学者によって発見された、常識に反する現象。

従来の想定とは異なり、人間の固有の高次の知能能力は、推論などの計算能力をほとんど必要としない）ただし、無意識のスキルと直観には多大なコンピューティング能力が必要です。）これは、サイバーセキュリティの分野ではさらに顕著です。

人工知能テクノロジーのネットワーク セキュリティへの適用には、次のような課題があります。問題空間が閉じていない、サンプル空間が非対称である、推論結果が不正確または解釈できない、モデルの汎化能力が低下する、クロスドメイン思考の統合課題。

1. 問題空間は閉じられていない

上の図に示すように、ネットワーク セキュリティの問題空間には既知のものが含まれます。そして不明。既知には、既知の脆弱性などの既知の既知のものが含まれ、未知の既知には、まだ発見されていない既知の公開されたセキュリティ脆弱性など、既知の未知のものが含まれます。未知には、特定のセキュリティ脆弱性が存在する必要があるソフトウェア システムなど、既知の未知のものが含まれます。未知、未知、たとえば、どのようなリスクや脅威があるか単にわからないこと。

2. サンプル空間の非対称性

未知の未知はネットワーク セキュリティにおける避けられないジレンマであり、これによりネットワーク セキュリティの問題空間が閉じられなくなり、負のデータ (攻撃データ、リスクなど) が発生します。データなど）は特徴空間の非対称性につながり、その結果、特徴空間が問題空間を真に表現できなくなることにつながります。モデルは、既存のデータ空間の世界に関する仮説であり、新しいデータ空間で推論を行うために使用されます。今日の人工知能テクノロジーは、入力と出力の間の非線形の複雑な関係を十分に解決できますが、サンプル空間が比較的開いている問題空間に関しては著しく非対称です。

3. 推論結果の解釈不可能性

人工知能アプリケーションは、意思決定の判断を出力することを目的としています。説明可能性とは、人間が意思決定の理由を理解できる程度を指します。 AI モデルの説明が容易であればあるほど、特定の決定や予測が行われた理由を人々が理解しやすくなります。モデルの解釈可能性とは、モデルの内部メカニズムの理解とモデルの結果の理解を指します。モデリング段階では、開発者がモデルを理解するのを支援し、モデルを比較および選択し、必要に応じてモデルを最適化および調整します。運用段階では、意思決定者にモデルの内部メカニズムを説明し、モデルの結果を説明します。 。

モデリング段階では、人工知能技術には決定精度と決定解釈可能性の間に矛盾があります。ニューラル ネットワークは決定精度は高いですが、解釈可能性は低くなります。デシジョン ツリーは解釈可能性は強いですが、精度は低くなります。背が高くありません。もちろん、この 2 つを組み合わせて、ある程度のバランスを取る方法はすでに存在します。

運用段階では、データプライバシーやモデルのセキュリティなどにおける倫理的ジレンマを伴う、モデルの内部メカニズムと意思決定結果の解釈を意思決定者に説明します。

4. 一般化能力の低下

1960 年代、Bell-LaPadula セキュリティ モデルは、「システムが安全な状態で起動する場合に限り、システムは決して危険な状態に陥ることはない」と指摘しました。危険な状態でも安全になります。」

人工知能技術はモデルを使用して問題空間を表現しますが、セキュリティの本質はリソースと知能の対立であるため、セキュリティ問題空間が閉じられることはありません。トレーニング セットで良好なパフォーマンスを示すモデルは適切ではありません。大規模向け 現実の環境では、オンラインになるとすぐに対立が絶えず、その後は失敗状態に陥り続け、モデルの汎化能力が低下します。

5. インテリジェント セキュリティ自律モデル

知識と推論は人間の知能の基礎です推論と意思決定を実現するには、コンピュータは知識表現と推論形式、不確実性という 3 つの問題を解決する必要があります。性知識の表現と推論、常識の表現と推論。

カード ゲームは不完全な情報ゲームであり、コンピュータを使ってカードをプレイすることはチェスをプレイすることよりもはるかに困難です。 2017 年、人工知能は 6 プレイヤーのノーリミット テキサス ホールデム ポーカーで人間を破りました。カードゲームは確率的かつ決定論的な問題であり、現実の環境はまったく不確実で対立的な環境さえあるため、複雑な環境における自律的な意思決定は非常に困難です。

対立シナリオにおける自律的な意思決定の課題は、主に環境の力学とタスクの複雑さという 2 つの側面から生じます。環境の力学には、不確実な状況、不完全な情報、状況の動的な変化、リアルタイムのゲームが含まれ、タスクの複雑さには、情報収集、攻撃、防御、偵察、嫌がらせなどが含まれます。

対立シナリオにおける自律的な意思決定は、通常、常識と論理的推論を使用して不完全な情報を補い、人間の領域知識と強化学習の結果を統合して計画を生成し、正しい意思決定を支援します。

複雑な環境における自律的な意思決定には、環境の変化にどのように適応し、それに応じて意思決定を変更するかという問題も解決する必要があります。例えば自動運転は物体を識別した上でモデルを構築し、それに基づいてリアルタイムの運転計画を立てるが、緊急時の対応が難しい。したがって、自動運転には運転の知識と経験も必要であり、この経験知識は環境との継続的なインタラクションのプロセス、つまり強化学習の中で学習される必要があります。

したがって、インテリジェントに強化されたセキュリティ システムの脅威の検出と保護に関する自律的な意思決定能力は、そのインテリジェンスを測定するための重要な指標の 1 つです。自動運転システムの分類を参照して、インテリジェントな安全自律モデルを構築できます。

##レベル	名前	定義
部分自動化	自動運転システムによるアシストステアリングや加速機能が備わっており、ドライバーは一部の作業から解放されます。ドライバーは、常に車両を制御できるように準備を整え、安全上最も重要な機能とすべての環境監視に責任を持ち続ける必要があります。
条件付き自動化	車両自動運転システムそれ自体が環境のすべての監視を制御します。このレベルでもドライバーの注意は依然として重要ですが、ブレーキなどの「安全上重要な」機能から解放される可能性があります。
L4	高度な自動化	車両の自動運転システムは、まずドライバーが車両をこのモードに切り替える前に、安全に操作できることがドライバーに通知されます。渋滞や高速道路への合流など、よりダイナミックな運転状況を判断することはできません。自動運転車システムは、ステアリング、ブレーキ、加速、車両と道路の監視、イベントへの応答、車線変更、方向転換、信号の使用時期の決定などの機能を備えています。
#L5	完全自動化	自動操縦システムがすべてのミッションを制御- クリティカル、ドライバーの注意を必要とせずに、環境を監視し、交通渋滞などの特有の運転状況を識別します。

#L5完全自律型保護システムが完成自律的 すべての攻撃と脅威の検出、意思決定、保護、分析、およびソース追跡には、セキュリティ専門家の介入や対応は必要ありません。

レベル	名前	定義
L0	自主性なし	防御対策はセキュリティ専門家による手作業に完全に依存しています。
L1	セキュリティ専門家の支援	保護システムには、既知の攻撃や脅威の検出と防御、精度率、偽陰性率と偽陽性率の最適化、脅威分析とソース追跡などは、セキュリティ専門家が手動で行う必要があります。
L2	部分的自治	保護システムは既知の攻撃と脅威を検出して保護し、未知の脅威を認識することもできますが、精度の最適化、偽陰性率と偽陽性率、脅威分析、ソース追跡などの他の側面では、セキュリティの専門家が手動で実行します。
L3	条件付き自動化	保護システムは、既知および未知の攻撃と脅威の検出と保護では、精度率、偽陰性率、偽陽性率を継続的に最適化し、独立した学習やアップグレードに耐えることもできますが、脅威の分析、ソースの追跡、対応などは手動で行う必要があります。セキュリティの専門家によって実行されます。
#L4	高度な自律性	保護システムがすべてを完了します攻撃や脅威の検出、意思決定、保護、分析、ソース追跡では、セキュリティの専門家がプロセスに介入し、少量の対応を行います。

#

以上がChatGPTの普及がもたらすAIネットワークセキュリティへの思いの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。