目次
脆弱性のスキャンとフィルタリング
アドオンを逆にして PE ファイルの API を分析する
脅威検索クエリ
人工知能はサプライ チェーンのセキュリティを向上させることができます
攻撃で生成された AI テキストを検出
安全なコードの生成と送信
AI はサプライ チェーンのセキュリティを向上させることができます
ホームページ テクノロジー周辺機器 AI サイバーセキュリティを強化する AI チャットボットと大規模な言語モデルを構築する 6 つの方法

サイバーセキュリティを強化する AI チャットボットと大規模な言語モデルを構築する 6 つの方法

Jun 06, 2023 am 11:10 AM
AI 通信網 言語モデル

リスクの観点から見ると、生成型 AI チャットボットと大規模な言語モデルは諸刃の剣になる可能性がありますが、正しく使用すれば重要な点でサイバーセキュリティを向上させることもできます。

OpenAI によって開発された ChatGPT の流星的な台頭は、今年最大のニュースの 1 つであり、生成 AI チャットボットと大規模な言語モデルがサイバーセキュリティに及ぼす潜在的な影響は重要な分野です。議論の。これらの新しいテクノロジーが引き起こす可能性のあるセキュリティ リスクについては、高度な自己学習アルゴリズムを使用した機密ビジネス情報の共有に関する懸念から、それらを使用して攻撃を大幅に強化する悪意のある攻撃者まで、多くの議論が行われています。

一部の国、州、企業は、データのセキュリティ、保護、プライバシーを理由に、ChatGPT などの生成型人工知能テクノロジーの使用を禁止しています。明らかに、生成型 AI チャットボットと大規模な言語モデルによってもたらされるセキュリティ リスクは相当なものです。ただし、生成型 AI チャットボットによって企業のサイバーセキュリティを強化できる方法は数多くあり、セキュリティ チームがサイバー犯罪との戦いで切望されていた強化を得ることができます。

生成 AI チャットボットと大規模な言語モデルが安全性を向上させる 6 つの方法を次に示します。

脆弱性のスキャンとフィルタリング

Cloud Security Alliance (CSA) のレポートによると、大規模な言語モデル、生成人工知能のサイバーセキュリティへの影響を調査しています。インテリジェント モデルを使用すると、セキュリティ脆弱性のスキャンとフィルタリングを大幅に強化できます。この論文の中で、Cloud Security Alliance (CSA) は、OpenAI の Codex API が C、C#、Java、JavaScript などのプログラミング言語に対する効果的な脆弱性スキャナーであることを実証しました。 「将来的には、Codex ファミリのような大規模な言語モデルが脆弱性スキャナの標準部分になると予測できます」と論文には書かれています。たとえば、さまざまな言語で安全でないコード パターンを検出してフラグを立てるスキャナーを開発すれば、開発者が重大なセキュリティ リスクになる前に潜在的な脆弱性に対処できるようになります。

フィルタリングに関しては、生成 AI モデルは、人間のセキュリティ担当者が見逃してしまう可能性がある貴重なコンテキストを解釈し、脅威識別子に追加できます。たとえば、MITRATT&CK フレームワークの技術識別子 TT1059.001 が報告される可能性がありますが、一部のサイバーセキュリティ専門家には馴染みがないため、簡単な説明が必要です。 ChatGPT は、コードを MITRATT&CK 識別子として正確に識別し、悪意のある PowerShell スクリプトの使用に関連するコードに関連する特定の問題の説明を提供します。また、PowerShell の性質とサイバーセキュリティ攻撃における潜在的な使用について詳しく説明し、関連する例も示します。

今年 5 月、OXSecurity は OX-gpt のリリースを発表しました。OX-gpt は、開発者がカスタマイズされたコード修正提案やカット&ペーストによるコード修正を提供できるように設計された ChatGPT 統合です。ハッカーによって悪用され、攻撃の影響と組織への潜在的な損害の可能性があります。

アドオンを逆にして PE ファイルの API を分析する

DeepInstinct のネットワーク インテリジェンス エンジニアリングのマネージャー、Matt Fulmer 氏は次のように述べています。 IDA や Ghidra などのリバース エンジニアリング フレームワークに基づいた生成 AI/ラージ言語モデル (LLM) テクノロジを使用して、ルールの構築や人気のあるアドオンのリバースを支援できます。 「要件を明確にし、MITRE の攻撃と攻撃戦略と比較すると、結果をオフラインで取得して、防御としてより効果的に使用できます。」

llm はアプリケーションを通じて対話することもできます。ポータブル実行可能ファイル (PE) の API を分析し、それらが何に使用されているかを明らかにしていると同氏は付け加えました。 「これにより、セキュリティ研究者が PE ファイルのレビューとそのファイル内の API 通信の分析に費やす時間を削減できます。」

脅威検索クエリ

によれば、 CSA に対して、セキュリティ防御者は ChatGPT やその他の LLM を活用して脅威検索クエリを作成することで、効率を高め、応答時間を短縮できます。 ChatGPT は、YARA などのマルウェア調査および検出ツールのクエリを生成することで、潜在的な脅威を迅速に特定して軽減するのに役立ち、防御者がサイバーセキュリティの取り組みの重要な側面に集中できるようにします。この機能は、進化する脅威環境において堅牢なセキュリティ体制を維持する上で非常に貴重であることが証明されています。ルールは、特定のニーズと、組織が環境内で検出または監視したい脅威に基づいてカスタマイズできます。

人工知能はサプライ チェーンのセキュリティを向上させることができます

生成人工知能モデルは、サプライヤーのセキュリティ リスクの潜在的な脆弱性を特定することで、サプライ チェーンに対処できます。今年 4 月、SecurityScorecard は、OpenAI の GPT-4 システムおよび自然言語グローバル検索と統合することでこの目標を達成する、新しいセキュリティ評価プラットフォームの立ち上げを発表しました。同社によれば、顧客はベンダーの詳細を含む自社のビジネス エコシステムについて自由形式の質問をすることができ、リスク管理の意思決定を促進するための回答をすぐに得ることができます。たとえば、「最も評価の低いベンダー 10 社を見つけてください」や「過去 1 年間に侵害された主要ベンダーを表示してください」など、SecurityScorecard は、これらの質問により、チームがリスク管理に関する意思決定を迅速に行うことができる結果が得られると主張しています。

攻撃で生成された AI テキストを検出

CSA によると、大規模な言語モデルはテキストを生成するだけでなく、AI が生成したテキストの検出と透かしの挿入にも機能し、これは電子メール保護ソフトウェアの一般的な機能になる可能性があります。 CSA は、攻撃内で AI が生成したテキストを識別することは、フィッシングメールやポリモーフィックコードの検出に役立つ可能性があり、llm はテキストの基礎となる層を検査できると同時に、非典型的な電子メールアドレスの送信者やそれに対応するドメインを簡単に検出できると想定できると述べています。リンクが既知の悪意のある Web サイトにつながっているかどうか。

安全なコードの生成と送信

ChatGPT のような llm を使用して、セキュリティ コードを生成および送信できます。 CSA は、社内の複数の従業員を標的とし、その資格情報が漏洩する可能性のあるフィッシング キャンペーンの例を挙げています。どの従業員がフィッシングメールを開いたのかはわかっていますが、資格情報を盗むように設計された悪意のあるコードを誤って実行したのかどうかは明らかではありません。

この問題を調査するには、Microsoft365Defender の高度な検索クエリを使用して、既知の悪意のある電子メールを受信して​​から 30 分以内に電子メール受信者によって実行された最後の 10 件のログイン イベントを検索できます。このクエリは、侵害された資格情報に関連する可能性のある不審なログイン アクティビティを特定するのに役立ちます。 ”

ここで、ChatGPT は Microsoft365Defender 検索クエリを提供して、侵害された電子メール アカウントのログイン試行をチェックできます。これは、攻撃者によるシステムへの侵入を防ぎ、ユーザーにパスワードの変更が必要かどうかを明確にするのに役立ちます。これは、これは、サイバー インシデント対応時のアクションまでの時間を短縮する優れた例です。

同じ例に基づいて、同じ問題に遭遇して Microsoft365Defender ルックアップ クエリが見つかる可能性がありますが、お使いのシステムではKQL プログラミング言語を使用します。必要な言語で正しい例を検索する代わりに、プログラミング言語スタイルの変換を行うことができます。

彼は、「この例は、ChatGPT の基礎となる Codex を示しています」と述べました。モデルはソース コードのサンプルを取得し、そのサンプルを別のプログラミング言語で生成できます。また、提供される回答や新しい作成の背後にある方法論に重要な詳細を追加することで、エンド ユーザーのプロセスを簡素化します。 ”

CSA によると、セキュリティ防御者は、ChatGPT やその他の LLM を活用して脅威検索クエリを作成することで、効率を高め、応答時間を短縮できます。マルウェアの調査および検出ツールを提供することで (クエリの生成) YARA など)、ChatGPT は、潜在的な脅威を迅速に特定して軽減するのに役立ち、防御側がネットワーク セキュリティの取り組みの重要な側面に集中できるようにします。この機能は、進化する脅威環境で堅牢なセキュリティを維持するために不可欠であることが証明されています。態勢はプライスレスです。ルールはカスタマイズ可能です。」特定のニーズと、組織が環境内で検出または監視したい脅威に基づいています。

AI はサプライ チェーンのセキュリティを向上させることができます

生成的人工インテリジェンス モデルは、サプライヤーの潜在的な脆弱性を特定することで、サプライ チェーンのセキュリティ リスクに対処できます。今年 4 月、SecurityScorecard は、OpenAI の GPT-4 Systems との提携を通じて、新しいセキュリティ評価プラットフォームを立ち上げ、これを実現するために自然言語グローバル検索が統合されることを発表しました。同社によれば、顧客はサプライヤーの詳細を含む自社のビジネス エコシステムについて自由形式の質問をすることができ、たとえば「最も評価の低い 10 社のベンダーを見つけてください」や「どのベンダーが重要かを示してください」など、リスク管理の意思決定を促進するための回答をすぐに得ることができます。 「ベンダーは過去 1 年間に侵害を受けています」 – SecurityScorecard は、これらの質問により、チームがリスク管理に関する迅速な意思決定を行える結果が得られると主張しています。

# 検出攻撃における AI テキストの生成

CSA によると、大規模な言語モデルはテキストを生成するだけでなく、AI が生成したテキストの検出と透かしの挿入にも機能し、これは電子メール保護ソフトウェアの一般的な機能になる可能性があります。攻撃では、フィッシングメールやポリモーフィックコードの検出に役立ち、llm は非定型メールを簡単に検出できると考えられます。送信者またはその対応するドメインにアドレス指定すると同時に、テキスト内の基礎となるリンクが既知の悪意のある Web サイトを指しているかどうかを確認できます。

##安全なコードの生成と送信

ChatGPT のような LLM は、安全なコードの生成と送信に使用できます。CSA はフィッシング キャンペーンの例を挙げています。この攻撃は社内の複数の従業員を標的にし、資格情報が漏洩する可能性がありました。どの従業員がフィッシングメールを開いたのかはわかっていますが、彼らが資格情報を盗むように設計された悪意のあるコードを誤って実行したかどうかは明らかではありません。

この問題を調査するには、Microsoft 365 Defender の詳細検索クエリを使用して、既知の悪意のある電子メールを受信して​​から 30 分以内に電子メール受信者によって実行された最後の 10 件のログイン イベントを検索できます。このクエリは、関連する可能性のある不審なログイン アクティビティを特定するのに役立ちます。 "

ここで、ChatGPT は Microsoft365Defender 検索クエリを提供して、侵害された電子メール アカウントのログイン試行をチェックできます。これは、攻撃者によるシステムへの侵入を防ぎ、ユーザーがログインする必要があるかどうかを明確にするのに役立ちます。パスワードを変更してください。これは、サイバーインシデント対応における行動までの時間を短縮する好例です。

同じ例に基づいて、同じ問題が発生し、Microsoft365Defender ルックアップ クエリが見つかる可能性がありますが、システムでは KQL プログラミング言語が使用されていません。必要な言語で適切な例を検索する代わりに、プログラミング言語のスタイルを変更することができます。

"この例は、ChatGPT の基礎となる Codex モデルがソース コードのサンプルを取得し、そのサンプルを別のプログラミング言語で生成する方法を示しています。また、回答と新しい作成の背後にあるメソッドを通じてそれを行います。 「重要な詳細を追加すると、エンド ユーザーのプロセスが簡素化されます。」リーダーは、生成型 AI チャットボットの安全な使用を保証する必要があります

ギガモンの最高戦略責任者であるチャイム・マザル氏は、多くの現代テクノロジーと同様に、リスクの観点から見ると、人工知能と大規模な言語モデルは両刃の剣になる可能性があるため、リーダーは次のように述べています。チームはこれらの製品を安全かつ確実に使用します。 「セキュリティ チームと法務チームは協力して、知的財産やセキュリティを損なうことなくこれらのテクノロジーの機能を活用するために組織が前進する最善の道を見つける必要があります。」

Fuer Generative AI は、以下に基づいています。構造化データは古いため、セキュリティと防衛におけるアプリケーションを評価する際の出発点としてのみ使用されるべきだとモー氏は述べた。たとえば、上記の利点のいずれかに使用される場合、その出力は正当化される必要があります。出力をオフラインにして、人々がそれをより良く、より正確に、そしてより実用的にできるようにします。 「

######生成型 AI チャットボット/大規模言語モデルは、時間の経過とともに最終的にはセキュリティと防御能力を自然に強化しますが、AI/大規模言語モデルを使用すると、サイバーセキュリティ体制を損なうのではなく、 Mazal 氏は、「生成 AI/大規模言語モデルは、利害関係者がより迅速かつ効果的な方法でセキュリティ問題に包括的に対処できるようにする一環となり得る。」と述べています。リーダーは、潜在的な脅威について教育しながら、組織の目標をサポートするためにツールをどのように活用できるかを伝える必要があります。 #############人工知能テクノロジー担当ディレクター兼 TovieAI の CEO であるジョシュア カイザー氏は、脅威に対する効果的な防御を維持するには人工知能チャットボットも定期的に更新する必要があり、人間の監視が不可欠であると述べました。同氏は、「さらに、大規模な言語モデルは、正確な応答を提供し、セキュリティ上の問題を検出するためにシナリオを理解する必要があり、潜在的な弱点を特定するために定期的にテストおよび評価する必要がある」と述べた。脆弱性。」 「###

以上がサイバーセキュリティを強化する AI チャットボットと大規模な言語モデルを構築する 6 つの方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Bytedance Cutting が SVIP スーパー メンバーシップを開始: 継続的な年間サブスクリプションは 499 元で、さまざまな AI 機能を提供 Bytedance Cutting が SVIP スーパー メンバーシップを開始: 継続的な年間サブスクリプションは 499 元で、さまざまな AI 機能を提供 Jun 28, 2024 am 03:51 AM

このサイトは6月27日、JianyingはByteDanceの子会社であるFaceMeng Technologyによって開発されたビデオ編集ソフトウェアであり、Douyinプラットフォームに依存しており、基本的にプラットフォームのユーザー向けに短いビデオコンテンツを作成すると報告しました。 Windows、MacOS、その他のオペレーティング システム。 Jianyingは会員システムのアップグレードを正式に発表し、インテリジェント翻訳、インテリジェントハイライト、インテリジェントパッケージング、デジタルヒューマン合成などのさまざまなAIブラックテクノロジーを含む新しいSVIPを開始しました。価格的には、クリッピングSVIPの月額料金は79元、年会費は599元(当サイト注:月額49.9元に相当)、継続月額サブスクリプションは月額59元、継続年間サブスクリプションは、年間499元(月額41.6元に相当)です。さらに、カット担当者は、ユーザーエクスペリエンスを向上させるために、オリジナルのVIPに登録している人は、

Rag と Sem-Rag を使用したコンテキスト拡張 AI コーディング アシスタント Rag と Sem-Rag を使用したコンテキスト拡張 AI コーディング アシスタント Jun 10, 2024 am 11:08 AM

検索強化生成およびセマンティック メモリを AI コーディング アシスタントに組み込むことで、開発者の生産性、効率、精度を向上させます。 JanakiramMSV 著者の EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG から翻訳。基本的な AI プログラミング アシスタントは当然役に立ちますが、ソフトウェア言語とソフトウェア作成の最も一般的なパターンに関する一般的な理解に依存しているため、最も適切で正しいコードの提案を提供できないことがよくあります。これらのコーディング アシスタントによって生成されたコードは、彼らが解決する責任を負っている問題の解決には適していますが、多くの場合、個々のチームのコーディング標準、規約、スタイルには準拠していません。これにより、コードがアプリケーションに受け入れられるように修正または調整する必要がある提案が得られることがよくあります。

GenAI および LLM の技術面接に関する 7 つのクールな質問 GenAI および LLM の技術面接に関する 7 つのクールな質問 Jun 07, 2024 am 10:06 AM

AIGC について詳しくは、51CTOAI.x コミュニティ https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou を参照してください。これらの質問は、インターネット上のどこでも見られる従来の質問バンクとは異なります。既成概念にとらわれずに考える必要があります。大規模言語モデル (LLM) は、データ サイエンス、生成人工知能 (GenAI)、および人工知能の分野でますます重要になっています。これらの複雑なアルゴリズムは人間のスキルを向上させ、多くの業界で効率とイノベーションを推進し、企業が競争力を維持するための鍵となります。 LLM は、自然言語処理、テキスト生成、音声認識、推奨システムなどの分野で幅広い用途に使用できます。 LLM は大量のデータから学習することでテキストを生成できます。

微調整によって本当に LLM が新しいことを学習できるようになるのでしょうか: 新しい知識を導入すると、モデルがより多くの幻覚を生成する可能性があります 微調整によって本当に LLM が新しいことを学習できるようになるのでしょうか: 新しい知識を導入すると、モデルがより多くの幻覚を生成する可能性があります Jun 11, 2024 pm 03:57 PM

大規模言語モデル (LLM) は巨大なテキスト データベースでトレーニングされ、そこで大量の現実世界の知識を取得します。この知識はパラメータに組み込まれており、必要なときに使用できます。これらのモデルの知識は、トレーニングの終了時に「具体化」されます。事前トレーニングの終了時に、モデルは実際に学習を停止します。モデルを調整または微調整して、この知識を活用し、ユーザーの質問により自然に応答する方法を学びます。ただし、モデルの知識だけでは不十分な場合があり、モデルは RAG を通じて外部コンテンツにアクセスできますが、微調整を通じてモデルを新しいドメインに適応させることが有益であると考えられます。この微調整は、ヒューマン アノテーターまたは他の LLM 作成物からの入力を使用して実行され、モデルは追加の実世界の知識に遭遇し、それを統合します。

新しい科学的で複雑な質問応答ベンチマークと大規模モデルの評価システムを提供するために、UNSW、アルゴンヌ、シカゴ大学、およびその他の機関が共同で SciQAG フレームワークを立ち上げました。 新しい科学的で複雑な質問応答ベンチマークと大規模モデルの評価システムを提供するために、UNSW、アルゴンヌ、シカゴ大学、およびその他の機関が共同で SciQAG フレームワークを立ち上げました。 Jul 25, 2024 am 06:42 AM

編集者 |ScienceAI 質問応答 (QA) データセットは、自然言語処理 (NLP) 研究を促進する上で重要な役割を果たします。高品質の QA データ セットは、モデルの微調整に使用できるだけでなく、大規模言語モデル (LLM) の機能、特に科学的知識を理解し推論する能力を効果的に評価することもできます。現在、医学、化学、生物学、その他の分野をカバーする多くの科学 QA データ セットがありますが、これらのデータ セットにはまだいくつかの欠点があります。まず、データ形式は比較的単純で、そのほとんどが多肢選択式の質問であり、評価は簡単ですが、モデルの回答選択範囲が制限され、科学的な質問に回答するモデルの能力を完全にテストすることはできません。対照的に、自由回答型の Q&A

SOTA パフォーマンス、厦門マルチモーダルタンパク質-リガンド親和性予測 AI 手法、初めて分子表面情報を結合 SOTA パフォーマンス、厦門マルチモーダルタンパク質-リガンド親和性予測 AI 手法、初めて分子表面情報を結合 Jul 17, 2024 pm 06:37 PM

編集者 | KX 医薬品の研究開発の分野では、タンパク質とリガンドの結合親和性を正確かつ効果的に予測することが、医薬品のスクリーニングと最適化にとって重要です。しかし、現在の研究では、タンパク質とリガンドの相互作用における分子表面情報の重要な役割が考慮されていません。これに基づいて、アモイ大学の研究者らは、初めてタンパク質の表面、3D 構造、配列に関する情報を組み合わせ、クロスアテンション メカニズムを使用して異なるモダリティの特徴を比較する、新しいマルチモーダル特徴抽出 (MFE) フレームワークを提案しました。アライメント。実験結果は、この方法がタンパク質-リガンド結合親和性の予測において最先端の性能を達成することを実証しています。さらに、アブレーション研究は、この枠組み内でのタンパク質表面情報と多峰性特徴の位置合わせの有効性と必要性​​を実証しています。 「S」で始まる関連研究

あなたが知らない機械学習の 5 つの流派 あなたが知らない機械学習の 5 つの流派 Jun 05, 2024 pm 08:51 PM

機械学習は人工知能の重要な分野であり、明示的にプログラムしなくてもコンピューターにデータから学習して能力を向上させる機能を提供します。機械学習は、画像認識や自然言語処理から、レコメンデーションシステムや不正行為検出に至るまで、さまざまな分野で幅広く応用されており、私たちの生活様式を変えつつあります。機械学習の分野にはさまざまな手法や理論があり、その中で最も影響力のある 5 つの手法は「機械学習の 5 つの流派」と呼ばれています。 5 つの主要な学派は、象徴学派、コネクショニスト学派、進化学派、ベイジアン学派、およびアナロジー学派です。 1. 象徴主義は、象徴主義とも呼ばれ、論理的推論と知識の表現のためのシンボルの使用を強調します。この学派は、学習は既存の既存の要素を介した逆演繹のプロセスであると信じています。

SKハイニックスは8月6日に12層HBM3E、321層NANDなどのAI関連新製品を展示する。 SKハイニックスは8月6日に12層HBM3E、321層NANDなどのAI関連新製品を展示する。 Aug 01, 2024 pm 09:40 PM

8月1日の本サイトのニュースによると、SKハイニックスは本日(8月1日)ブログ投稿を発表し、8月6日から8日まで米国カリフォルニア州サンタクララで開催されるグローバル半導体メモリサミットFMS2024に参加すると発表し、多くの新世代の製品。フューチャー メモリおよびストレージ サミット (FutureMemoryandStorage) の紹介。以前は主に NAND サプライヤー向けのフラッシュ メモリ サミット (FlashMemorySummit) でしたが、人工知能技術への注目の高まりを背景に、今年はフューチャー メモリおよびストレージ サミット (FutureMemoryandStorage) に名前が変更されました。 DRAM およびストレージ ベンダー、さらに多くのプレーヤーを招待します。昨年発売された新製品SKハイニックス

See all articles