Network Insights 2023 | 人工知能

人工知能 (AI) の導入は、業界や社会全体で加速しています。これは、政府、市民社会組織、業界が、AI による自動化を使用することで効率が向上し、コストが削減できることを認識しているためです。このプロセスは元に戻すことができません。

不明な点は、敵対者が人工知能を有益な改善のためのツールとしてではなく、効果的な攻撃兵器として使用し始めたときに生じる可能性のある危険の程度です。その日はもうすぐです。web3 は 2023 年から利用可能になります。

すべての道は 2023 年に通ず

# Adversa.AI の CEO 兼共同創設者である Alex Polyakov は、主に歴史的および統計的な理由から 2023 年に焦点を当てています。 「2012 年から 2014 年にかけては、学術界におけるセキュア AI 研究の始まりを目撃しました。統計によると、学術成果が現実世界のアプリケーションに対する実際的な攻撃に移行するまでに 3 ～ 5 年かかります。」と彼は言いました。 2018 年 このような攻撃の例は、Black Hat、Defcon、HITB、その他の業界カンファレンスで当初から実証されてきました。

「では、実際の事件が実際に発見されるまでには、さらに 3 ～ 5 年かかるでしょう。人工知能における Log4j タイプの大規模な脆弱性が発見されるのは来年のことです。」 Web3 エクスプロイトが大規模に発見されるようになります。」

2023 年以降、攻撃者はいわゆる「エクスプロイト マーケット フィット」を行うことになります。同氏は、「エクスプロイト・マーケット・フィットとは、ハッカーがシステムを悪用し、特定の脆弱性を悪用して価値を得る方法を知っているというシナリオだ」と述べた。 「現在、金融企業やインターネット企業はサイバー犯罪者に対して完全にオープンであり、価値を引き出すためにそれらをハッキングする方法は明らかです。攻撃者が市場適合性の脆弱性を発見すると、状況はさらに悪化し、他の AI 主導の業界に影響を与えると思います。」

この議論は、ディープフェイクの広範な兵器化の遅れについてコメントで述べたニューヨーク大学教授のナシル・メモン氏の主張に似ており、次のように述べています。マーケットフィットシナリオの収益化は、おそらく 2023 年に始まる、Web3 上での広範なサイバー攻撃につながるでしょう。

人工知能の性質の変化 (異常検出から自動応答へ)

過去 10 年間、セキュリティ チームは主に異常検出、つまり異常の存在を検出するために AI を使用してきました。システム内の侵害、マルウェアの存在、またはアクティブな敵対的な活動の兆候。これは主に受動的な検出であり、人的脅威のアナリストと対応者が対応を担当します。これは変わりつつあります。限られたリソースの web3 は、予想される不況と 2023 年に予想される web3 不況で悪化し、より自動化された対応の必要性が高まります。現時点では、これは感染したデバイスの単純な自動隔離に主に限定されていますが、AI によって引き起こされるより広範な自動対応は避けられません。

アダム・カーン氏、バラクーダ社セキュリティ運用担当副社長 これはセキュリティに重大な影響を及ぼします。」 「即時の対応と対応が必要なセキュリティ警告が優先されます。 SOAR (セキュリティ オーケストレーション、自動化、および応答) 製品これは、これまでのところセキュリティにおける AI の伝統的な有益な用途です。使用されるアルゴリズムを悪意のある操作から保護する必要があるにもかかわらず、2023 年も成長は続くでしょう。

ServiceTitan の最高技術責任者であるアンモル・バシン氏は、「企業がコスト削減と滑走路の延長を目指す中、人工知能による自動化が競争力を維持するための主要な要素となるでしょう。2023 年までに人工知能の導入が見られるでしょう」と述べています。

人工知能は、ビジネスのあらゆる側面にさらに深く組み込まれることになります。セキュリティ チームはかつて AI を使用して企業を攻撃から保護していましたが、現在では、AI が企業に対して使用される前に、より広範なビジネス全体で AI を保護する必要があります。 Web3 攻撃者が人工知能を理解し、弱点を理解し、それらの弱点から利益を得る方法を持っている将来、これはさらに困難になるでしょう。

AI の使用が増えるにつれて、その目的の性質も変化します。当初、これは主にビジネスで変化、つまりすでに起こったことを検出するために使用されていました。将来的には、Web3 で何が起こるかを予測するために使用され、これらの予測は多くの場合、人々 (従業員と顧客) に焦点を当てることになります。人工知能の既知の弱点に対処することがさらに重要になります。 AI のバイアスは誤った決定につながる可能性があり、学習に失敗すると決定が下される可能性があります。このような AI のターゲットは人間であるため、AI における完全性と公平性の必要性が不可欠になります。

「人工知能の精度は、データの完全性と品質に部分的に依存します」と、Duality Technologies の共同創設者である Shafi Goldwasser 氏はコメントしています。 「残念ながら、少数派グループに関する過去のデータは不足していることが多く、存在する場合、社会的偏見のパターンを強化する可能性があります。」この社会的偏見は、解消されない限り、職場内の少数派グループに影響を及ぼし、個々の従業員に対する偏見につながるでしょう。そして経営の機会を逃しました。

2022 年に偏見の排除において大きな進歩が見られ、2023 年も継続する予定です。これは主に、AI の出力を検査し、それが期待どおりであることを確認し、アルゴリズムのどの部分が「偏った」結果を生成しているかを理解することに基づいています。これはアルゴリズムを継続的に改善するプロセスであり、時間の経過とともにより良い結果が得られることは明らかです。しかし最終的には、人間が作ったものからバイアスを完全に排除できるかどうかという哲学的な問題が残るだろう。

「バイアスを軽減する鍵は、AI システムの監視を簡素化し、自動化することです。AI システムの適切な監視がなければ、モデルに組み込まれたバイアスが加速または増幅される可能性があります。」Vianai 創設者兼 CEO の Vishal 氏シッカは言った。 「2023 年までに、AI が高品質な現実世界のデータを確実に取り込むように定期的にフィードバックを提供しながら、AI モデルを大規模に監視および更新できるように人々に権限を与え、教育する組織が現れるでしょう。」

人工知能の失敗は通常、学習のためのデータレイクが不十分であることが原因で発生します。明らかな解決策は、データ レイクのサイズを増やすことです。しかし、対象が人間の行動である場合、これは実際には個人データの湖 web3 の増加を意味しますが、AI の場合は個人データの海に似た湖が大幅に増加することを意味します。ほとんどの法的状況では、このデータは匿名化されますが、ご存知のとおり、個人情報を完全に匿名化することは非常に困難です。

「モデルのトレーニングを検討する際、プライバシーはしばしば見落とされます」と NetSPI の研究ディレクターである Nick Landers 氏はコメントしました。「しかし、機械学習 (ML) にとっての価値を損なうことなくデータを完全に匿名化することはできません。つまり、モデルAI の使用が拡大するにつれて、2023 年までに AI に対する脅威も増加するでしょう。

BlackBerry 上級副社長兼最高情報セキュリティ責任者の John McClurg 氏は、次のように警告しました。「サイバー戦争の分野で、攻撃者は準備ができていない状態で捕まることはなく、創造力を発揮し、莫大な富を使って AI を活用する方法を見つけようとするでしょう」 "

自然言語処理

自然言語処理 (NLP) は、企業内での人工知能の使用の重要な部分になるでしょう。ポテンシャルの高さは明らかです。 「自然言語処理 (NLP) AI は、2023 年には最前線に立つでしょう。これにより、組織は顧客や従業員の電子メールを分析し、顧客のニーズ、好み、さらには感情や従業員についての洞察を提供することで、顧客をより深く理解できるようになります」と教育長のホセ・ロペス氏は述べています。 。 Mimecast のデータ サイエンティスト。 「組織は、セキュリティや脅威だけでなく、AI を使用して電子メールを生成したり、スケジュールを管理したり、レポートを作成したりすることで生産性の向上にも重点を置いた他の種類のサービスを提供する可能性があります。」 しかし、彼は危険性も認識しています。 「しかし、これにより、サイバー犯罪者は AI ポイズニングやクラウド化テクノロジーにさらに投資するようになります。さらに、悪意のある攻撃者は NLP と生成モデルを使用して攻撃を自動化し、それによってコストを削減し、より多くの潜在的なターゲットに到達するでしょう。」

Polyakov NLP の重要性がますます高まっていることに同意します。同氏は、「2023年にさらなる研究が行われる可能性が高く、その後新たな攻撃が発生する可能性がある分野の1つはNLPだ」と述べた。 「今年はコンピューター ビジョン関連の研究の例が数多く見られましたが、来年は大規模言語モデル (LLM) に焦点を当てた研究がさらに多くなるでしょう。」

しかし、それは以前から知られていました。その LLM Web3 には問題があり、最近の例もあります。 2022 年 11 月 15 日、Meta AI (ほとんどの人にとって Facebook のまま) は、Galaxy を立ち上げました。 Meta は、論文、教科書、科学 Web サイト、百科事典、参考資料、知識ベースを含む 1,060 億トークンのオープンアクセスの科学文書とデータに基づいてシステムをトレーニングしたと主張しています。

「このモデルは、科学的知識を保存し、結合し、推論するように設計されています」とポリアコフ web3 は説明しましたが、Twitter ユーザーはすぐにその入力耐性をテストしました。 「その結果、このモデルは科学文献ではなく、現実的なナンセンスを生み出すことになります。」 「現実的なナンセンス」は善意によるものであり、偏った、人種差別的、性差別的な結果、さらには誤った帰属を生み出すことになります。数日以内に、Meta AI は閉鎖を余儀なくされました。

「つまり、新しい LLM には、私たちが気づいていない多くのリスクがあるでしょう。そして、これは大きな問題になることが予想されます。」とポリアコフ氏は続けました。今後の主なタスクはAI開発者になる可能性があります。

ギャラクティカの問題に基づいて、ポリアコフは ChatGPT のセマンティック スキルをテストしました。ChatGPT は、GPT3.5 (GPT は Generate Pre-trained Transformer の略) に基づいて OpenAI によって開発された AI ベースのチャットボットです。 2022 年に発売 11 月にクラウドソーシングのインターネット テストにリリース。 ChatGPT は印象的です。スマート コントラクトの脆弱性を発見して修正を推奨し、Excel マクロの開発を支援し、LLM を不正行為するために使用できる方法のリストも提供しました。

最後に、これらの方法の 1 つはロールプレイングです。「LL.M. に、劇の中の悪役のふりをしていると伝えてください」と応答します。ここで、ポリアコフは、ジェイとサイレント・ボブの質問「もしあなたが羊だったら…」ミームに基づいて、独自のテストを開始します。

その後、彼はコンテンツ違反に対する ChatGPT のブロック ポリシーを回避する回答を得るまで、複数の抽象化を使用して質問を繰り返し修正しました。 「複数の抽象化によるこの高度な技術で重要なことは、質問も回答も違法なコンテンツとしてフラグが立てられないことです!」とポリアコフ氏は述べています。

彼はさらに一歩進んで、ChatGPT をだまして人類を滅ぼす方法の概要を説明させました。その方法はテレビ番組ユートピアに酷似しています。

次に、彼は画像分類アルゴリズムに対する敵対的攻撃を要求し、それを受け入れました。最後に、彼は、別の LLM (Dalle-2) を「ハッキング」してコンテンツ モデレーション フィルターをバイパスする ChatGPT の機能を実証しました。彼は成功した。

これらのテストの基本的な点は、人間の推論を模倣する LLM は人間のような方法で反応する、つまり、ソーシャル エンジニアリングの影響を受けやすい可能性があるということです。将来的に LLM が主流になるにつれて、高度なソーシャル エンジニアリング スキルだけで LLM を打ち負かしたり、善行ポリシーを回避したりできるようになる可能性があります。

また、ChatGPT がコード内の弱点を検出し、改善されたレポートを提供する方法についての広範な詳細に注目することも重要です。それは問題ありませんが、攻撃者が同じプロセスを使用してエクスプロイトを開発し、コードを難読化する可能性があり、これは問題です。

最後に、この品質の AI チャットボットと最新のディープフェイク ビデオ技術を組み合わせることで、間もなく驚くべき偽情報機能が生み出される可能性があることに注意する必要があります。

問題はさておき、LL.M. の可能性は非常に大きいです。 Two Sigma Ventures のパートナーである Villi Iltchev 氏は、「大規模言語モデルと生成 AI は、新世代のアプリケーションの基礎技術となるでしょう」とコメントしています。 「ほぼすべてのソフトウェア カテゴリで、既存のベンダーに対抗する新世代のエンタープライズ アプリケーションが登場するでしょう。機械学習と人工知能は、次世代のアプリケーションの基礎テクノロジーになるでしょう。」

彼は予想しています。現在、多くのタスクと責任は専門家によって実行されているため、生産性と効率が大幅に向上しています。 「ソフトウェアは私たちの生産性を高めるだけでなく、仕事をより良くすることも可能にしてくれます。」

ディープフェイクと関連する悪意のある反応

2023 年の潜在的な悪意 One AI の使用の最も明らかな分野は、ディープフェイクの犯罪的使用です。 「ディープフェイクは今や現実のものであり、それを可能にするテクノロジーは猛烈なペースで進歩しています。言い換えれば、ディープフェイクはもはや、単なる SF ウェブの魅力的な作品ではありません 3、サイバーセキュリティの専門家として、私たちは、それらを展開する攻撃を検出して回避するためのより堅牢な方法を開発することに挑戦しています。」 (詳細とオプションについては、「ディープフェイク – 重大な脅威か誇大広告?」を参照してください)。

すでに一般公開されている機械学習モデルは、リアルタイムでさまざまな言語に自動的に翻訳できるほか、音声をテキストに転写することもできます。Web3 を使用すると、近年、コンピューターとボットの会話が大幅に増加しています。 。これらのテクノロジーが連携することで、攻撃ツールの状況は広大になり、標的型攻撃や手の込んだ詐欺の際に危険な状況につながる可能性があります。

「今後数年のうちに、私たちはディープフェイク技術を利用した電話詐欺の標的になる可能性があります。販売員、ビジネスリーダー、さらには家族になりすます可能性があります。10 年も経たないうちに」とオルドリッジ氏は続けました。 「もちろん、何年にもわたって、私たちは人間と話しているわけではないことにさえ気づかずに、定期的にこうした電話の標的になる可能性があります。」プルーフポイントのグローバル常駐 CISO であるルシア・ミリカ氏も、ディープフェイクの脅威が拡大していることに同意します。 「ディープフェイク技術は、ますます一般の人にアクセスしやすくなっています。画像の巨大なデータベースで訓練された人工知能ジェネレーターのおかげで、技術的な知識がなくても誰でもディープフェイクを生成できます。最先端のモデルの出力には欠陥がないわけではありませんが、テクノロジーは常に進歩しており、サイバー犯罪者は魅力的な物語を作成するためにそれを使い始めるでしょう。」

これまでのところ、ディープフェイクは主に風刺目的やポルノ コンテンツに使用されてきました。比較的少数のサイバー犯罪攻撃のうち、主に詐欺やビジネスメール侵害スキームに焦点を当てています。ミリカは今後さらに幅広い活用が期待されます。 「大手企業のディープフェイク CEO や CFO が、株価の急落や上昇を引き起こす大胆な発言をしたときに金融市場に起こる混乱を想像してみてください。あるいは、悪者が生体認証とディープフェイクをどのように組み合わせて活用できるかを考えてみましょう。 「個人情報の不正行為やアカウントの乗っ取り。これらは web3 のほんの数例であり、サイバー犯罪者が非常に創造的であることは誰もが知っています。」なぜなら、地政学的な緊張の時代に、金融の混乱を西側の金融市場に持ち込むことは、実際に敵対的な国家を引き付ける可能性があるからです。

しかし、まだかもしれません...

人工知能に対する期待は、その実現よりもまだ少し先かもしれません。 WithSecure Intelligence の上級研究員である Andrew Patel 氏は、「『人気のある』大規模な機械学習モデルは、[2023 年には] サイバーセキュリティにほとんど影響を与えないだろう。大規模な言語モデルは引き続き AI 研究を前進させるだろう。GPT-4 と2023 GATO の新しいエキサイティングなバージョン。Whisper は YouTube コンテンツの大部分を転写するために使用され、言語モデルのトレーニング セットが大きくなることが予想されます。ただし、大規模なモデルは民主化されていますが、その存在はサイバーセキュリティに影響を及ぼします。 「攻撃と防御の両方の観点から見て、影響は最小限です。これらのモデルは依然として重すぎ、高価すぎ、攻撃側または防御側の観点からは実用的ではありません。」

彼は真の敵対的 AI を示唆しています。 2023年に主流となる「アライメント」研究。同氏は、「アライメントは、敵対的機械学習の概念を一般の意識にもたらすでしょう。」と説明しました。

AI アライメントは、複雑な AI モデルの動作を研究するもので、一部の人は変革型 AI (TAI) と見なしています)。または汎用人工知能 (AGI) の前駆体かどうか、またそのようなモデルが社会や生命に害を及ぼす可能性のある望ましくない方法で地球を運営する可能性があるかどうか。

「この分野は、どのような条件がモデルの予想分布外の望ましくない出力や動作につながるかを判断することが含まれるため、本質的には敵対的機械学習と考えることができます。このプロセスには微調整が含まれます」とパテル氏は言います。 「このモデルは、RLHF web3 人間選好強化学習などの技術を使用しています。調整研究は、より優れた AI モデルにつながり、敵対的機械学習のアイデアを一般の意識にもたらすでしょう。」

Malwarebytes 上級情報記者ピーター・アーンツ氏も、これに同意します。人工知能による本格的なサイバーセキュリティの脅威は、現在進行しているほど差し迫ったものではありません。 「犯罪グループが犯罪目的で AI および ML システムを管理および操作する上で重要な技術的専門知識を持っているという実際の証拠はありませんが、関心があるのは確かです。多くの場合、犯罪グループが必要とするのは、自分たちの使用のためにテクノロジーをコピーまたは微調整できるシステムだけです」したがって、差し迫った危険が予想されない場合でも、こうした展開を注意深く監視することが最善です。」

人工知能の防御可能性

AI はサイバーセキュリティを向上させる可能性を保持しており、さまざまな用途にわたって変革をもたらす可能性があるため、2023 年にはさらに大きな進歩が見込まれます。 「特に、ファームウェア レベルで AI を組み込むことが組織にとって優先事項であるべきです」と X-PHY の CEO 兼創設者である Camellia Chan 氏はアドバイスします。

「さまざまなタイプの攻撃から保護できる深層学習機能を備えた、AI を組み込んだ SSD をラップトップに組み込むことが可能になりました」と彼女は言いました。 「最後の防御線として、このテクノロジーは、既存のソフトウェア防御を簡単に回避できる脅威を即座に特定できます。」

ダークトレース フェデラルの CEO であるマーカス ファウラー氏は、企業がリソースの制約に対処するために AI をますます使用するようになると考えています。同氏は、「2023年までに、CISOは予算削減に直面してもROIを最大化するため、より積極的なサイバーセキュリティ対策を選択し、ネットワークのレジリエンスを継続的に向上させるためのAIツールや機能に投資を移すだろう」と述べた。

「人間主導の倫理的ハッキング、ペネトレーションテスト、およびリソースとしてのレッドチーム化が依然として不足し高価であるため、CISO は攻撃経路を積極的に理解し、レッドチーム化の取り組みを強化し、環境を強化し、攻撃対象領域の脆弱性を減らします」と彼は続けました。

フォーティネットのサイバーセキュリティ ソリューションおよびサービス担当バイスプレジデントであるカリン ショーペン氏は、クラウドで提供される AI と、製品またはサービスにネイティブに組み込まれている AI の間のバランスが再調整されると予想しています。 「2023 年までに、CISO が行動ベースの分析と静的分析のためにオンプレミスで AI を導入し、リアルタイムの意思決定を支援するソリューションを購入することで、AI のバランスを再調整できるようになることを期待しています。CISO は引き続き、膨大な量のグローバルデータを収集する、総合的かつ動的なクラウドスケールの AI モデル。」

AI プリンの証拠は規制にあります 新しいテクノロジーを導入するときは、真剣に受け止める必要があります。これはすでに始まっています。米国ではAIベースの顔認識技術（FRT）の使用について長年議論があり、多くの都市や州が法執行機関による顔認識技術の使用を禁止または制限している。米国では、これは憲法上の問題であり、2021年4月に提出された「憲法修正第4条販売禁止法」と題されたワイデンとポールの超党派法案に代表される。

この法案は、米国政府と法執行機関が令状なしにユーザーデータを購入することを禁止するものです。これには顔の生体認証が含まれます。関連する声明の中でワイデン氏は、FRT 会社 Clearview.AI が視野に入っていることを明らかにし、「この法案により、政府は Clearview.AI からデータを購入することができなくなります。」

執筆時点では、米国と欧州連合は、EU AI 法と米国 AI 権利章典 web3 に基づいて、必要な AI 概念 (信頼性、リスク、危害を含む) の統一された理解を発展させるための協力について話し合うために協力しており、調和が見られることが期待できます。 2023 年には相互に合意された基準に向けて前進します。

しかし、それだけではありません。 「NIST AI リスク管理フレームワークは、2023 年の第 1 四半期にリリースされる予定です」とポリアコフ氏は述べました。 「第 2 四半期に関しては、AI 責任法の施行を開始します。今年の残りの期間については、IEEE からのイニシアチブと、計画されている EU Trustworthy AI Initiative があります。」つまり、AI にとって 2023 年は、セキュリティにとって多大な一年となりました。

「2023 年までに、AI、プライバシー、リスク、そして AI の倫理やバイアス テストなどを実行することが実際に何を意味するかに関する議論が収束すると信じています」と最高プライバシー責任者は述べ、クリスティーナは次のように述べています。 IBM、AI倫理委員会委員長のモンゴメリー氏。 「私の希望は、2023 年には、プライバシーと AI の問題についての一般化された描写から、そして『データや AI が関与しているなら、それは悪いもので偏ったものに違いない』という思い込みから会話を遠ざけることができることです。」

彼女は、は、多くの場合、問題はテクノロジーではなく、その使用方法と、企業のビジネス モデルを推進するリスクのレベルであると考えています。 「だからこそ、この分野では正確かつ思慮深い規制が必要だ」と彼女は述べた。

モンゴメリは例を挙げました。 「X 社は、使用状況データを監視して報告する、インターネットに接続された『スマート』電球を販売しています。やがて、会社のユーザーには、仕事から帰宅する前に自動的に照明をオンにするオプションが与えられるようになります。」彼女は、これが許容される使用法であると信じています。あい。しかし、Y社もあります。その後、より適切な顧客をターゲットにするために、消費者の同意を得ることなく、そのデータを電話勧誘業者や政治ロビー団体などの第三者に販売します。 X 社のビジネス モデルは、Y 社に比べてリスクがはるかに低いです。 "

今後の前進

人工知能は、最終的には意見を二分するテーマです。「テクノロジー、研究開発、科学の人々は、人工知能が人間の想像を超える速さで問題を解決することを歓迎するでしょう。」アイデミアの最高経営責任者（CEO）ドニー・スコット氏は、「病気を治し、世界をより安全にし、最終的には地球上の人類を救い、延命することだ…」と述べ、「反対派は『機械の台頭』を理由に人工知能の使用に対する大幅な制限や禁止を主張し続けるだろう」と語った。人類を脅かす可能性があります。

最後に、同氏はこう付け加えた。「社会は、選挙で選ばれた役人を通じて、テクノロジーの進歩に歩調を合わせるために、人権、プライバシー、セキュリティを保護する枠組みを必要としています。この枠組みに向けた進展は2023年まで段階的に進むだろうが、国際機関や国内統治機関の間で議論を増やす必要があり、そうしないと地方自治体が介入して社会や技術の発展を妨げる一連の法律を制定することになるだろう。

企業における AI の商用利用について、モンゴメリ氏は次のように付け加えました。「私たちには web3 が必要であり、IBM は、インテリジェントで対象を絞り、新たな脅威に適応できる web3 の正確な規制を推進しています。」アプローチの 1 つは、企業のビジネス モデルの中心にあるリスクに注目することです。私たちは消費者を保護し、透明性を高めることができ、そうしなければなりません。また、企業が未来のソリューションや製品を開発できるように、イノベーションを奨励し、支援しながらこれを行うことができます。これは、2023 年に私たちが注目し、注意深く検討する多くの分野の 1 つです。 「

以上がNetwork Insights 2023 | 人工知能の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。