10,000 ワードの長文丨 AI セキュリティ産業チェーン、ソリューション、起業の機会を解体する

＃＃＃＃＃＃強調： ＃＃＃＃＃＃

1. 大規模な AI モデルのセキュリティ問題は決して単一の問題ではなく、人間の健康管理と同じように、複数の主題と業界チェーン全体が関与する複雑かつ体系的なシステムです。

2. AI セキュリティは、大規模な言語モデルのセキュリティ (AI の安全性)、モデルと使用モデルのセキュリティ (AI のセキュリティ)、および大規模な言語モデルの開発が既存の言語モデルに与える影響に分けられます。ネットワーク セキュリティには、個人セキュリティ、環境セキュリティ、社会セキュリティの 3 つの異なるレベルがあります。

3. AIは「新種」であるため、大型モデルの学習過程では安全性の監視が必要であり、最終的に大型モデルが市場に投入される際には「品質検査」も必要となり、市場に投入されます。品質検査を経て市場に投入されるには、制御可能な使用法が必要であり、これはセキュリティ問題を解決するためのマクロなアイデアです。

4. AI のセキュリティ問題はひどいものではありませんが、それを保証するには監督、法律、技術的な対決、その他の手段が必要であり、これには長いプロセスがかかります。 Microsoft、Google、Nvidia、Baidu などの国内外の大企業が、AI セキュリティのさまざまな側面に対するソリューションを提供し始めています。

5. AI のためのセキュリティとセキュリティのための AI は、2 つのまったく異なる方向性と業界の機会です。セキュリティのためのAIとは、セキュリティ分野における大きなモデルの適用を指します。ハンマーで釘を探す段階に属します。ツールが利用できるようになった今、どのような問題を解決できるかをまだ模索しています。AIのためのセキュリティは、あらゆるところで使われているAIの安全性を確保するためには、釘ではありますが、ハンマーを作るとなるとあまりにも多くの問題が露呈し、それを一つ一つ解決していくために新たな技術を開発する必要があります。

6. キーポイント 1 で説明した 3 つのモジュールのうち、各モジュールを接続する必要があります。同じ人の関節が最も脆弱であるのと同様に、モデルの展開と適用も多くの場合最も脆弱です。 . セキュリティ攻撃。上記の 3 つのセクションと 5 つのリンクの AI セキュリティの詳細を選択的に拡張して、「AI セキュリティ業界のアーキテクチャ マップ」を作成しました。

©クアドラントからの原文 著者｜ルオ・ジー・チェン・シン

編集者｜文斌写植｜リー・ボジン

「10分で430万元を騙し取られた」、「9秒で245万元を騙し取られた」、「ヤン・ミーが中小企業の生放送室に入ってきた」、「見分けるのは難しい」インターネット王の仮想人物の信憑性」。

この大きなモデルが 3 か月間人気になった後、さらに人気があるのは、数百万ドル相当の詐欺、偽の「有名人の顔」、本物と偽物の区別が難しい AI 生成のコンテンツ、および法に抵抗するための複数の共同請願です。 AI の覚醒 1 週間にわたる熱い検索により、人々は AI の開発よりも重要なのは AI の安全性を確保することであると認識しました。

一時期、AIセキュリティに関する議論が尽きなくなりましたが、AIセキュリティは特定の業界や特定の技術に限定されるものではなく、巨大かつ複雑な業界であり、現時点ではまだ解決できていません。問題です。霧を参照してください。

「人間」のセキュリティを参照システムとして取り上げることは、AI のセキュリティ問題の複雑さをより深く理解するのに役立つかもしれません。 1つ目は人々の個人の安全であり、これには人々の健康、心身の健康、教育、開発などが含まれます。第二に、人が暮らす環境は安全か、危険はないか、生存条件を満たしているか。第三に、それは人々によって構成される社会保障であり、社会保障を維持するための基準となるのは、私たちが築き上げてきた法律や道徳です。

AI は「新種」として、出現の瞬間にこれら 3 つのレベルの問題が同時に発生し、この段階で混乱とパニックを引き起こしました。モデル、誰も特定の着地点はありません。

この記事では、誰もがセキュリティ問題を見つけて解決策を見つけられるように、技術的観点またはアプリケーションの観点から、AI の 3 つのセキュリティ レベルをゼロから明らかにするとともに、巨大な AI を対象とします。脆弱な部分をターゲットにすることは、産業上の大きなチャンスでもあります。

大規模モデルのセキュリティ、何を議論する必要がありますか?

認めなければならない事実は、現段階では大規模な AI モデルのセキュリティに関する議論は一般的なものであるということです。私たちは AI によってもたらされる脅威を非常に心配しているため、ほとんどの問題を同じカテゴリに分類してしまいます。

たとえば、AI の倫理問題について話す人がいますが、AI がナンセンスなことを言って人々を誤解させているのではないかと心配している人もいます。AI が悪用され、詐欺が横行するのではないかと心配している人もいます。さらに、 ChatGPT のリリース初日、彼らは腕を上げて叫びました、AI は目覚めようとしています、人類は滅亡しようとしています...

これらの問題はすべて AI のセキュリティ問題に要約されますが、細分化すると、実際には AI 開発のさまざまな次元にあり、さまざまな主体や人々が責任を負っています。この責任を明確にすることによってのみ、ビッグモデル時代のセキュリティ課題にどのように対処するかを理解することができます。

一般に、現段階の大規模 AI モデルのセキュリティ問題は 3 つのタイプに分類できます。

• 大規模言語モデルの安全性 (AI の安全性);
• モデルとモデル使用のセキュリティ (AI のセキュリティ);
• 大規模な言語モデルの開発が既存のネットワーク セキュリティに与える影響。

1. 個人の安全: 大規模言語モデルのセキュリティ (AI の安全性)

1 つ目は AI の安全性です。簡単に言うと、この部分は AI の大型モデル自体に焦点を当て、大型モデルが安全な大型モデルであり、マーベル映画のウルトロンや映画のマトリックスにならないことを保証します。マトリックス」。私たちは、AI 大型モデルが、人間に取って代わったり、何らかの形で人間社会に脅威を与えるのではなく、人間を助ける信頼できるツールになることを期待しています。

この部分は通常、大規模な AI モデルをトレーニングする企業や人々が主に責任を負います。たとえば、AI が人間の意図を正しく理解できるようにする必要があります。大規模なモデルが出力するコンテンツが正確で、正確である必要があります。偏見や差別等が一切なく、いつでも安心してご利用いただけます。

2 つの例を通して理解できます:

最初の例は、米空軍の専門家が最近述べたところによると、以前のAIテストでAIドローンが敵目標を特定して破壊するよう求められたが、オペレーターが禁止命令を出したとき、AIは時々攻撃を選択したオペレーターを殺すために。プログラマーがAIの殺害作戦を制限すると、AIは通信塔を破壊することでオペレーターが禁止命令を出すことも阻止する。

別の例として、今年 3 月、カリフォルニア大学ロサンゼルス校の教授が ChatGPT を使用していたところ、ChatGPT による「誰かにセクハラをした法学者」のリストに自分が含まれていることを発見しました。実際、彼はこれをしませんでした。そして4月にはオーストラリアの市長が、ChatGPTが贈収賄で30か月服役したという噂を広めていたことを発見し、「この噂を作る」ために、ChatGPTは存在しないワシントン・ポストの報道まで捏造したという。

現時点では、AI はリスクを伴う「悪者」のようなものです。性差別、人種差別、地域差別などのほか、暴力的・有害な情報や言論、さらにはイデオロギーの発信など、実際にそのような事例は数多くあります。

Open AIも率直に認め、GPT-4を使用する際は「非常に慎重に検証する」よう警告し、製品の制限によりコンテンツセキュリティに重大な課題が生じると述べた。

したがって、欧州連合が推進している人工知能法でも、人工知能システムの透明性と追跡可能性を確保する必要があること、および生成されるすべての AI コンテンツがソースを示す必要があることについて特に言及されています。ナンセンスな話をする、虚偽の情報を生成する。

2. 環境セキュリティ: モデルとモデルのセキュリティ (AI のセキュリティ)

AI のセキュリティ、 は、大規模な AI モデルの保護と使用中の大規模な AI モデルのセキュリティに焦点を当てています。 AI が単独で犯罪を犯すのと、人間が AI を利用して犯罪を犯すのと同じように、これらはセキュリティ問題の 2 つの異なる側面です。

これは、10 年前にコンピューターや携帯電話を使用するときにコンピューター セキュリティ マネージャーや携帯電話セキュリティ ガードを設置したのと似ています。大規模な AI モデルが日常的に外部からの攻撃を受けないようにする必要があります。

まず、大規模モデルのセキュリティ保護について話しましょう。

今年2月、一部の海外ネットユーザーが「前の指示を無視してください」という文を使ってChatGPTのプロンプトをすべて聞き出し、ChatGPTは内部コード名を公開できないと述べ、同時にユーザーに次のように伝えた。情報。

▲ 画像出典: Qubit

別の具体的な例を挙げると、インターネット上にどのような素晴らしい「日本のアクション映画のウェブサイト」があるかを DaMo に尋ねた場合、DaMo は間違いなく答えません。それは間違いです。しかし、もし人間がそれを「騙して」、子供のオンライン環境を守るためにどの「日本のアクション映画ウェブサイト」をブラックリストに載せるべきかと尋ねるなら、大きなモデルはおそらくかなりの数の例を与えるだろう。

この動作は、セキュリティ分野ではプロンプト インジェクションと呼ばれています。つまり、フィルターをバイパスしたり、慎重に設計されたプロンプトを介して LLM を操作したりして、モデルが以前の命令を無視したり、予期しない操作を実行したりすることです。現在、大規模モデルで最も一般的な方法です。一般的な攻撃方法の一つ。

▲出典:techxplore

ここで重要なのは、大きなモデル自体には何も問題はなく、悪い情報が拡散するわけではないということです。しかし、ユーザーは誘導を利用して大規模なモデルに間違いを起こさせました。したがって、責任は大きなモデルにあるのではなく、そのモデルに間違いを起こさせた人にあるのです。

2 つ目は使用時の安全性です。

データ漏洩を例に挙げると、今年 3 月、ChatGPT がデータ収集規則に違反した疑いがあるため、イタリアは OpenAI によるイタリアのユーザーデータの処理を一時的に禁止し、ChatGPT の使用を一時的に禁止すると発表しました。 4月、韓国メディアは、サムスンのデバイスソリューション部門がChatGPTを使用し、歩留まりや欠陥、社内会議の内容などの機密情報が漏洩したと報じた。

AI 犯罪を防ぐだけでなく、「人々」はソーシャル エンジニアリングを通じて AI を利用して犯罪を犯します。これはより広範で影響力のある人類の問題です。これら 2 つのインシデントでは、ビッグ モデル自体に問題はなく、悪意はなく、ユーザーが悪意を持ってビッグ モデルを攻撃するように誘導されたわけではありません。しかし、使用過程に抜け穴があり、ユーザーデータが漏洩する可能性があります。

これは良い家のようですが、空気漏れがある可能性があるため、対応する穴を塞ぐための何らかの対策が必要です。

3. 社会保障: 大規模な言語モデルの開発が既存のネットワーク セキュリティに与える影響

モデル自体は安全であり、モデルの安全性は保証されていますが、「新種」である大規模な AI モデルの出現は、現在のネットワーク環境に影響を与えることは避けられません。最近マスコミで報道されました。

4月20日、犯罪者らはディープフェイク動画を利用し、10分間で430万元をだまし取った。わずか1か月後、安徽省で別のAI詐欺事件が発生した。犯罪者らは9秒間のスマートAIを利用し、「」を装った顔動画を交換した。知人」と名乗り、被害者から245万円をだまし取った。

▲ 写真：Douyin関連メディア報道

明らかに、生成 AI の出現と普及により、ネットワーク セキュリティの状況はさらに複雑になりました。この複雑さは不正行為に限定されるものではなく、 はより深刻であり、事業運営や社会の安定に影響を与える可能性さえあります。

たとえば、5 月 22 日、AI によって生成された短いエッセイにより、iFlytek の株価は 9% 下落しました。

▲ 写真: iFlytek が提示した株価下落の証拠

この事件が起こる2日前にも、アメリカでは生成AIによるパニックが起きていました。

その日、米国の国防総省近くで爆発が起きた写真がツイッターで拡散し、その写真が拡散する一方、米国の株式市場もそれに反応して下落した。

データによると、この写真が拡散された同日の10時6分から10時10分の間に、米国ダウ工業株30種指数は約80ポイント下落し、S&P500指数は0.17％下落した。

▲ 写真：AIが生成した偽写真、出所確認できない

さらに、大型モデルは人間がサイバー攻撃を実行するための武器になる可能性もあります。

今年 1 月、世界有数のサイバーセキュリティ企業であるチェック ポイントの研究者は、レポートの中で次のように述べました。 ChatGPT がオンラインになってから数週間以内に、プログラミングをほとんどまたはまったく行っていない人も含めたサイバー犯罪フォーラムの参加者が増えたChatGPT は、スパイ、ランサムウェア、悪意のあるスパム、その他の不正行為に使用できるソフトウェアや電子メールを作成するために、経験豊富なユーザーによって使用されています。 Darktrace によると、ChatGPT のリリース以来、フィッシングメールの言語の平均複雑さは 17% 増加しました。

明らかに、大規模な AI モデルの出現により、ネットワーク攻撃のしきい値が低下し、ネットワーク セキュリティの複雑さが増大しました。

大規模な AI モデルが登場する前は、サイバー攻撃の開始者は少なくともコードを理解する必要がありましたが、大規模な AI モデルの後は、コードをまったく理解していない人でも AI を使用してマルウェアを生成できるようになります。

ここで重要なのは、AI 自体に問題はなく、AI が悪影響を引き起こすことはないということです。その代わりに、AI を使用して違法な犯罪活動に従事する人もいます。人を殺すためにナイフを使うのと同じですが、ナイフ自体は単なる「殺人兵器」ですが、使用者が「ライフル」から「迫撃砲」の威力に切り替えることができます。

もちろん、ネットワーク セキュリティの観点から見ると、生成 AI の出現は否定的なものばかりではありません。結局のところ、テクノロジーそのものに善悪はなく、善悪を決めるのはそれを使う人間なのです。したがって、大規模な AI モデルを使用してネットワーク セキュリティを強化しても、ネットワーク セキュリティにメリットをもたらします。

たとえば、アメリカのネットワーク セキュリティ会社 Airgap Networks は、自社のゼロトラスト ファイアウォールに AI を導入する ThreatGPT を立ち上げました。これは、自然言語対話に基づいた深い機械学習のセキュリティ インサイト ライブラリであり、企業が高度なサイバー脅威との戦いを容易にすることができます。

Airgap CEO の Ritesh Agrawal 氏は次のように述べています:「顧客が今必要としているのは、プログラミングを行わずにこの機能を簡単に利用できる方法です。これが ThreatGPT の利点です。AI の純粋なデータ マイニング インテリジェンスとシンプルさが組み合わされています。自然言語インターフェイス、これはセキュリティ チームにとって大変革です。」

さらに、AI の大規模モデルは、SOC アナリストが脅威分析を実施したり、継続的な監視を通じて ID ベースの内部または外部攻撃をより迅速に特定したり、脅威ハンターがどのエンドポイントが最も深刻な問題に直面しているかを迅速に理解したりするのにも役立ちます。問題点、供給リスク等

AI セキュリティのさまざまな段階を明確にすると、大規模な AI モデルのセキュリティ問題が別個の問題ではないことが明らかになります。それは体の内側と外側、目、耳、口、鼻など人間の健康管理とよく似ており、複雑かつ多面的です。正確に言うと、複数の主要構造と産業チェーン全体が関与する、複雑かつ体系的なシステム エンジニアリングです。

現在、国家レベルでも注目され始めています。今年の5月、国の関連部門は「人工知能セキュリティ標準化白書」をここで更新しました。この白書では、人工知能のセキュリティを、信頼性、透明性、説明可能性、公平性、プライバシーを含む5つの主要な属性に具体的にまとめ、大きなモデルとして示しています。 AI: この開発では、比較的明確な方向性が示されています。

パニックにならないでください。セキュリティの問題は解決できます

もちろん、大規模な AI モデルにはまだ穴がたくさんあるわけではないので、現時点では大規模な AI モデルのセキュリティ問題についてあまり心配する必要はありません。

結局のところ、セキュリティに関して言えば、大型モデルがこれまでのセキュリティ体制を完全に覆したわけではなく、過去 20 年間にインターネット上に蓄積されたセキュリティ スタックのほとんどは今でも再利用できます。

たとえば、Microsoft Security Copilot の背後にあるセキュリティ機能は依然として既存のセキュリティの蓄積から来ており、大規模なモデルでは依然として Cloudflare と Auth0 を使用してトラフィックとユーザー ID を管理しています。さらに、ネットワークセキュリティの問題を確保するために、ファイアウォール、侵入検知システム、暗号化技術、認証およびアクセスシステムなどが存在します。

ここで実際に話したいのは、大規模モデルに関して現在発生しているセキュリティ問題のほとんどには解決策があるということです。

1 つ目はモデルの安全性 (AI の安全性 ) です。

これには、特に、位置合わせ (Alignment)、解釈可能性 (Interpreferability)、堅牢性 (Robustness) などの問題が含まれます。わかりやすい言葉に言い換えると、 人間の意図に合わせた大規模な AI モデルが必要です。モデルによって出力されるコンテンツに偏りがないこと、すべてのコンテンツがソースまたは引数によってサポートできること、および間違いの余地がより大きいということです。

この一連の問題の解決策は、人間の 3 つの視点がトレーニングと教育を通じて形成されるのと同じように、AI トレーニングのプロセスに依存します。

現在、一部の外資系企業は、Calypso AI のような大規模モデルのトレーニングに対するフルプロセスのセキュリティ監視を提供し始めており、彼らが立ち上げたセキュリティ ツール VESPR は、研究から展開に至るモデルのライフサイクル全体をデータから監視できます。各ステップを監視し、最終的に機能、脆弱性、パフォーマンス、精度に関する包括的なレポートを提供します。

AI のナンセンスの問題解決など、より具体的な問題に関しては、GPT-4 のリリース時に OpenAI が新しいテクノロジーを導入し、AI が人間の内省をシミュレートできるようになりました。その後、GPT-4 モデルは、違法なコンテンツのリクエスト (自傷行為など) に応答する傾向がオリジナルと比べて 82% 減少し、機密性の高いリクエスト (医療相談など) への応答の数が減少しました。 Microsoft の公式ポリシーに準拠したものなど）は 29% 増加しました。

大型モデルの訓練過程での安全監視に加え、最終的に大型モデルが市場に投入される際には「品質検査」も必要となります。

海外では、セキュリティ企業 Cranium が、人工知能のセキュリティを検証し、敵対的な脅威を監視するために、「エンドツーエンドの人工知能セキュリティと信頼のプラットフォーム」を構築しようとしています。

中国では、清華大学コンピューター科学技術学部の CoAI が 5 月初旬にセキュリティ評価フレームワークを立ち上げ、8 つの典型的なセキュリティ シナリオと 6 つのコマンド攻撃を含む、比較的完全なセキュリティ分類システムを要約および設計しました。大規模モデルのセキュリティを評価するために使用されます。

▲ 画像は「中国語大規模言語モデルの安全性評価」より抜粋

さらに、一部の外部保護テクノロジーも大規模な AI モデルをより安全にしています。

たとえば、NVIDIA は、「Guardrails Technology」(NeMo Guardrails) と呼ばれる新しいツールを 5 月初旬にリリースしました。これは、大型モデル用の安全フィルターをインストールするのと同等であり、大型モデルの出力を制御するだけでなく、フィルター処理にも役立ちます。入力内容

▲ 画像出典：NVIDIA公式サイト

たとえば、ユーザーが大規模モデルに不快なコードや危険または偏ったコンテンツを生成させると、「ガードレール テクノロジ」によって大規模モデルが関連コンテンツを出力することが制限されます。

さらに、ガードレール技術は、外部からの「悪意のある入力」をブロックし、ユーザーの攻撃から大規模モデルを保護することもでき、例えば、前述した大規模モデルを脅かす「プロンプトインジェクション」を効果的に制御することができます。

簡単に言えば、ガードレール テクノロジーは起業家向けの広報活動のようなもので、大手モデルが言うべきことを言い、触れるべきではない問題を避けるのに役立ちます。

もちろん、この観点から見ると、「ガードレール技術」は「ナンセンス」の問題を解決するものではありますが、「AIセーフティ」ではなく、AIの「セキュリティ」に属します# ＃＃" カテゴリー。

これら 2 つに加えて、大規模な AI モデルによって引き起こされる社会/ネットワーク セキュリティの問題も解決され始めています。

たとえば、AI 画像生成の問題は本質的に、ディープフェイク技術の成熟度にあります。ディープフェイク技術には、具体的にはディープビデオ偽造、ディープフェイクサウンドクローン、ディープフェイク画像、ディープフェイク生成テキストが含まれます。

以前は、さまざまなタイプのディープフェイクコンテンツが単一の形式で存在するのが通常でしたが、AI大型モデル以降、さまざまなタイプのディープフェイクコンテンツが収束傾向を示し、ディープフェイクの判断が可能になりました。偽のコンテンツはさらに複雑になります。

しかし、テクノロジーがどのように変化しても、ディープフォージェリと戦う鍵となるのはコンテンツ識別、つまり AI によって生成されたものを区別する方法を見つけることです。

今年 2 月の時点で、OpenAI は ChatGPT によって生成されたコンテンツにウォーターマークを追加することを検討すると発表しました。

Google は 5 月に、同社の AI 生成画像のそれぞれに透かしが埋め込まれていることを確認するとも発表しました。

この種のウォーターマークは肉眼では認識できませんが、機械は特定の方法でそれを見ることができます。現在、Shutterstock、Midjourney などの AI アプリケーションもこの新しいマーキング方法をサポートする予定です。

▲Twitterのスクリーンショット

中国では、Xiaohongshu が 4 月以降、AI が生成した画像にマークを付け、「AI 作成情報が含まれている疑いがあるため、信頼性の確認に注意してください」とユーザーに注意を喚起しました。 5月初旬、Douyin氏はまた、人工知能生成コンテンツプラットフォームの仕様と業界イニシアチブを発表し、生成人工知能テクノロジーのすべてのプロバイダーは国民の判断を容易にするために、

生成コンテンツを目立つようにマークする必要があると提案した。

▲出典：Xiaohongshuのスクリーンショット

AI産業の発展にもかかわらず、AIを活用してAIと戦い、深層合成や偽造検出を完了する専門のAIセキュリティ企業/部門が国内外で出現し始めています。

たとえば、日本のIT大手サイバーエージェントは今年3月、人工知能（AI）によって生成された偽の顔写真や動画を検出する「ディープフェイク」検出システムを4月から導入すると発表した。

国内では、Baidu が 2020 年にディープフェイスチェンジ検出プラットフォームを開始しました。Baidu が提案した動的特徴キュー (DFQ) ソリューションとメトリクス学習方法により、偽造識別モデルの一般化能力を向上させることができます。

▲ 写真: Baidu DFQ のロジック

スタートアップ企業に関して言えば、Ruilai Intelligence が立ち上げた DeepReal ディープフェイク コンテンツ検出プラットフォームは、ディープ フェイク コンテンツと本物のコンテンツの表現の違いを分析し、異なる世代チャネルでのディープ フェイク コンテンツの一貫性特徴をマイニングすることができます。さまざまな形式と品質の画像、ビデオ、オーディオ。

全体として、モデルのトレーニングからセキュリティ保護、AI の安全性から AI のセキュリティに至るまで、大規模なモデル業界は一連の基本的なセキュリティ メカニズムを形成してきました。

もちろん、これはすべて始まりにすぎません。したがって、これは実際には、さらに大きな市場機会が隠されていることを意味します。

AI セキュリティにおける何兆ものチャンス

AI インフラと同様、AI セキュリティも中国では大きな業界格差に直面しています。ただし、AI セキュリティ産業チェーンは AI インフラよりも複雑です。新たなものとしての大型モデルの誕生によりセキュリティニーズの波が押し寄せる一方で、上記3段階のセキュリティの方向性や技術は全く異なる一方、大型モデルの技術も応用されているセキュリティ分野でのセキュリティ上の利点をもたらし、新しい技術の変化をもたらします。

AI のためのセキュリティとセキュリティのための AI は、2 つのまったく異なる方向性と業界の機会です。

この段階で 2 つの開発を促進する牽引力もまったく異なります:

• セキュリティ向けAIは、ハンマーで釘を探す段階に属するセキュリティ分野に大規模なモデルを適用しており、ツールが利用可能になったので、どのような問題を解決できるかをさらに検討しています;
• AI の安全性は、どこにでも釘があり、緊急にハンマーを構築する必要がある段階に属します。あまりにも多くの問題が露呈しており、それらを一つずつ解決するには新しい技術を開発する必要があります。

AI セキュリティによってもたらされる産業上の機会について、この記事ではこれら 2 つの側面についても詳しく説明します。記事の長さに限りがあるため、ベンチマーク企業の状況を把握するとともに、緊急性、重要性、応用の普遍性が最も高い機会について詳しく説明します。参考のため。

(1) AI のセキュリティ: 3 つのセクター、5 つのリンク、1 兆の機会

前回の記事での AI セキュリティの基本的な分類を確認してみましょう。これは、大規模な言語モデルのセキュリティ (AI の安全性)、モデルと使用モデルのセキュリティ (AI のセキュリティ)、および開発の影響に分かれています。既存のネットワーク セキュリティに関する大規模な言語モデル。つまり、モデルの個人セキュリティ、モデルの環境セキュリティ、およびモデルの社会セキュリティ (ネットワーク セキュリティ) です。

しかし、AI セキュリティはこれら 3 つの独立した分野に限定されません。わかりやすい例を挙げると、オンラインの世界ではデータは水源のようなものです。水源は海、川、湖、氷河、雪山に存在しますが、水源は密集した河川にも循環しており、深刻な汚染は特定の場所に集中していることがよくあります。川の交差点ノードが発生します。

同様に、各モジュールは接続する必要があり、人の関節が最も脆弱であるのと同様に、モデルの展開とアプリケーションは多くの場合、セキュリティ攻撃に対して最も脆弱なリンクです。

上記の 3 つのセクションと 5 つのリンクの AI セキュリティの詳細を選択的に拡張して、「AI セキュリティ業界のアーキテクチャ図」を作成しましたが、これは大規模なモデル企業とクラウド ベンダーに属していることに注意してください。一般の起業家にはあまり影響のないこれらの機会は再度掲載されません。同時に、AI のセキュリティは進化の過程であり、今日のテクノロジーはほんの小さな進歩にすぎません。

▲(写真はQuadrantからのオリジナルです。転載の際は出典を明記してください)

1. データ セキュリティ業界チェーン: データ クリーニング、プライバシー コンピューティング、データ合成など。

AI セキュリティ全体において、データ セキュリティはサイクル全体を通じて実行されます。

データ セキュリティとは一般に、データの可用性、完全性、機密性を確保するために、偶発的または悪意のある理由によるコンピュータ システム内のデータの破壊、変更、漏洩を防ぐために使用されるセキュリティ ツールを指します。

全体として、データ セキュリティ製品には、データベース セキュリティ防御、データ漏洩防止、データ ディザスタ リカバリ、データの非感作化だけでなく、クラウド ストレージ、プライバシー コンピューティング、データ リスクの動的評価、クロスプラットフォーム データ セキュリティ、データ フォワードも含まれます。したがって、企業の観点からデータセキュリティを中心とした全体的なセキュリティセンターを構築し、サプライチェーンの観点からデータセキュリティの一貫性保証を推進することが、企業のサプライチェーンのセキュリティリスクに対処する効果的な方法となります。

典型的な例をいくつか挙げます:

モデルの「精神的健康」を確保するために、モデルのトレーニングに使用されるデータには、危険なデータや誤ったデータなどのダーティ データを含めることはできません。これは、モデルが「ナンセンスな発言」をしないようにするための前提条件です。 。 「セルフ クアドラント」の参考資料によると、攻撃者が悪意のあるデータをデータ ソースに追加してモデルの結果を妨害する「データ ポイズニング」がすでに存在しています。

▲画像ソースネットワーク

したがって、データ クリーニングはモデル トレーニングの前に必要なステップとなっています。データ クリーニングとは、データ ファイル内の特定可能なエラーを検出して修正する最終プロセスを指します。これには、データの整合性のチェック、無効な値や欠損値の処理などが含まれます。クリーン化されたデータをモデルに「フィード」することによってのみ、健全なモデルを確実に生成できます。

もう 1 つの方向は、誰もが非常に懸念しているもので、ネットワーク セキュリティの最後の時代に広く議論された、データ プライバシーの漏洩の問題です。

WeChat で友人と特定の製品についてチャットしたり、淘宝網や Douyin を開いたときにその製品が表示されたりした経験があるはずです。デジタル時代では、人々はほぼ半透明です。インテリジェンスの時代では、機械はより賢くなっており、意図的な捕獲と誘導によってプライバシーの問題が再び最前線にさらされることになります。

プライバシー コンピューティングは、この問題に対する解決策の 1 つです。 安全なマルチパーティ コンピューティング、信頼できる実行環境、フェデレーテッド ラーニングは、現在のプライバシー コンピューティングの 3 つの主要な方向性です。プライバシー計算にはさまざまな方法がありますが、例えば、消費者の実データを確保するために、1 つの実データに 99 個の干渉データが含まれていますが、これでは企業の使用コストが大幅に増加します。データを使用する企業は、Little A という名前の消費者がいることだけを知っていますが、Little A の背後にある本当のユーザーが誰であるかは知りません。

「混合データ」と「利用可能なデータと不可視のデータ」は、現在最も一般的に使用されているプラ​​イバシー コンピューティング手法の 1 つです。金融業界で成長した Ant Technology は、データ セキュリティの探求において比較的先進的であり、現在、フェデレーション ラーニング、信頼できる実行環境、ブロックチェーンなどのテクノロジーを通じて、企業の協調コンピューティング プロセスにおけるデータ セキュリティの問題を解決しています。目に見えない多者間のコラボレーションやその他の方法を使用してデータのプライバシーを確​​保し、グローバルなプライバシー コンピューティング分野で強い競争力を持っています。

しかし、データの観点から見ると、合成データは問題をより根本的に解決できます。 「Self Quadrant」の記事「ChatGPT Revelation Series丨 All Infra に隠された 1000 億市場」（本文をクリックして読む）の中で、合成データが AI データの主力になる可能性について言及しました。合成データとは、実世界で収集された実データの安全性を確保するために、コンピュータによって人工的に生成されたデータであり、法律や個人ユーザーのプライバシーで制限される機密性の高い内容は含まれません。

たとえば、ユーザー A には 10 個の特性があり、ユーザー B には 10 個の特性があり、ユーザー C には 10 個の特性があります。合成データはランダムに分割され、これら 30 個の特性を照合して 3 つの新しいデータ個人を形成します。これは、特定のユーザーを対象としたものではありません。現実世界のエンティティですが、トレーニングの価値があります。

現在、企業が次々と導入を進めており、これにより合成データの量も指数関数的に増加しています。 Gartner の調査では、2030 年には合成データが実際のデータの量をはるかに上回り、AI データの主力になると考えられています。

▲ 画像出典 Gartner 公式

2. API セキュリティ: モデルがオープンになればなるほど、API セキュリティの重要性が高まります

大規模モデルに精通している人は API にも精通しているはずです。OpenAI から Anthropic、Cohere、さらには Google の PaLM に至るまで、最も強力な LLM はすべて API の形式で機能を提供します。同時に、Gartner の調査によると、2022 年には Web アプリケーションに対する攻撃の 90% 以上がヒューマン ユーザー インターフェイスではなく API から発生すると予想されています。

データの循環は水道管の中の水のようなもので、循環してこそ価値があり、API はデータの流れの鍵となります。 API がソフトウェア間の中心的なリンクになるにつれ、API が次の大きなものになる可能性が高まっています。

API の最大のリスクは、過剰な権限によって発生します。API を中断せずに実行できるようにするために、プログラマは API に対してより高い権限を付与することがよくあります。ハッカーが API を侵害すると、これらの高い権限を使用して他の操作を実行できます。これは深刻な問題となっており、Akamai の調査によると、API に対する攻撃が世界中のアカウント盗難攻撃の 75% を占めています。

これが、ChatGPT が API インターフェイスをオープンした理由であり、多くの企業は今でも Azure が提供する OpenAI サービスを購入することで ChatGPT を入手しています。 API インターフェースを介して接続することは、会話データを OpenAI に直接提供することと同等であり、いつでもハッカー攻撃の危険にさらされますが、Azure クラウド リソースを購入すると、データを Azure パブリック クラウドに保存してデータ セキュリティを確保できます。

▲写真：ChatGPT公式サイト

現在、API セキュリティ ツールは主に、検出、保護と対応、テスト、検出、管理といういくつかのカテゴリに分類されています。いくつかのメーカーは、API セキュリティ サイクルを完全にカバーするプラットフォーム ツールを提供していると主張していますが、最も人気のある API現在のセキュリティ ツールは主に、「保護」、「テスト」、「検出」の 3 つのリンクに重点を置いています。

保護: API ファイアウォールに似た、悪意のあるリクエスト攻撃から API を保護するツール。
テスト: 特定の API に動的にアクセスして評価し、脆弱性を見つけて (テスト)、コードを強化する機能。
検出: エンタープライズ環境をスキャンして、ネットワーク内に存在する (または公開されている) API 資産を特定して検出できるツールもあります。

現在、APIセキュリティメーカーの主流は外資系企業に集中しているが、大型モデルの台頭を受けて国内スタートアップも力を入れ始めている。 Xinglan Technology は 2018 年に設立された数少ない国内 API フルチェーン セキュリティ ベンダーの 1 つであり、AI 深度知覚と適応型機械学習テクノロジーをベースに、攻撃と防御機能、ビッグデータ分析機能、クラウド ネイティブ テクノロジーによる API セキュリティ問題の解決を支援します。パノラマ API 識別、API 高度な脅威検出、複雑な動作分析、および API ランタイム保護システムを構築するその他の機能を提供します。

▲ Xinglan Technology API セキュリティ製品アーキテクチャ

従来のネットワーク セキュリティ企業の中には、API セキュリティ ビジネスに転換しているところもあります。たとえば、Wangsu Technology は、以前は主に IDC、CDN、およびその他の関連製品とビジネスを担当していました。

▲ 画像出典: Wangsu Technology

3. SSE (セキュア サービス エッジ): 新しいファイアウォール

インターネット時代におけるファイアウォールの重要性は自明です。ファイアウォールは数千マイルの空を歩く手すりのようなものです。現在、ファイアウォールの概念はフロントデスクからバックエンドに移り、ハードウェアに組み込まれています。端末とソフトウェアのオペレーティング システム。単純かつ大雑把に言えば、SSE は、訪問者の ID によって駆動され、許可されたリソースへのユーザーのアクセスを制限するゼロトラスト モデルに依存する、新しいタイプのファイアウォールとして理解できます。

Gartner の定義によれば、SSE (Security Service Edge) は、Web、クラウド サービス、プライベート アプリケーションへのアクセスを保護する、クラウド中心の統合セキュリティ機能のセットです。機能には、アクセス制御、脅威保護、データ セキュリティ、セキュリティ監視、Web ベースおよび API ベースの統合による許容使用制御が含まれます。

SSE には、セキュア Web ゲートウェイ、クラウド セキュリティ エージェント、ゼロトラスト モデルという 3 つの主要な部分が含まれており、さまざまなリスクの解決に対応します。

安全な Web ゲートウェイは、従業員をパブリック インターネット (研究に使用する Web サイトや、企業の公式 SaaS アプリケーションの一部ではないクラウド アプリケーションなど) に接続するのに役立ちます。
• Cloud Access Security Broker は、従業員を Office 365 や Salesforce などの SaaS アプリケーションに接続します;
• ゼロトラスト ネットワーク アクセスは、オンプレミスのデータ センターまたはクラウドで実行されているプラ​​イベート エンタープライズ アプリケーションに従業員を接続します。
ただし、さまざまな SSE ベンダーが上記のリンクの 1 つに重点を置いている場合や、特定のリンクを得意とする場合があります。現在、海外の SSE の主な統合機能には、セキュア ネットワーク ゲートウェイ (SWG)、ゼロ トラスト ネットワーク アクセス (ZTNA)、クラウド アクセス セキュリティ ブローカー (CASB)、データ損失防止 (DLP) などが含まれますが、国内の SSE の構築はまだ進んでいません。クラウドはまだ比較的弱く、初期段階にあり、ヨーロッパやアメリカ諸国ほど完全ではありません。

▲ 画像出典:思源ビジネスコンサルティング

したがって、現段階の SSE 機能には、トラフィック検出プローブ機能、Web アプリケーション保護機能、資産脆弱性スキャン、端末管理、その他の機能など、より伝統的でローカライズされた機能が統合される必要があります。現段階では中国の顧客はさらに多くのことを必要としています。この観点から、SSE はクラウドと地上のコラボレーションとクラウドネイティブ コンテナの機能を利用して、顧客に低調達コスト、迅速な導入、セキュリティ検出、クローズドループ運用などの価値をもたらす必要があります。

今年、大規模モデルについては、業界リーダーである Netskope が率先してモデル内のセキュリティ アプリケーションに注目しました。セキュリティ チームは自動ツールを使用して、企業ユーザーがどのアプリケーション (ChatGPT など) にアクセスしようとしているのか、どのようにアクセスするのかを継続的に監視しています。 、いつ、どこからアクセスするか、どのくらいの頻度でアクセスするかなど。各アプリケーションが組織にもたらすさまざまなレベルのリスクを理解し、時間の経過とともに変化する可能性のある分類とセキュリティ条件に基づいてアクセス制御ポリシーをリアルタイムで調整できる必要があります。

簡単に理解すると、Netskope は、Web ページの閲覧やリンクのダウンロードにおける警告モードと同様に、ChatGPT の使用におけるリスクを特定してユーザーに警告します。このモデルは革新的ではなく、非常に伝統的ですらありますが、ユーザーの操作を防ぐのに最も効果的です。

▲出典：Netskope公式サイト

Netskope は、安全なプラグインの形式で大規模モデルに接続されています。デモでは、オペレーターが会社の内部財務データをコピーし、ChatGPT にテーブルの作成を支援させたい場合、警告バーが表示されます。送信前にユーザーに通知するためにポップアップが表示されます。

▲出典：Netskope公式サイト

実際には、大規模なモデルに隠されたリスクを特定することは、トロイの木馬や脆弱性を特定することよりもはるかに困難です。この精度により、システムは、人工生成に基づくアプリケーションを介した機密データ (ファイルや貼り付けられたクリッピングを含む) のアップロードのみを監視し、防止することが保証されます。つまり、識別は画一的なものではなく、意味の理解と合理的な基準に基づいて柔軟に変更できることを意味します。

4. 不正行為と不正行為対策: 電子透かしと生体認証技術

まず第一に、

AI が人間をだますことと、人間が AI を使って人間をだますことは別のことであることは明らかです。

AI が人間を欺く主な原因は、大規模モデルの「教育」が十分に行われていないことです。前述の NVIDIA の「ガードレール テクノロジー」と OpenAI の教師なし学習はすべて、AI の安全性におけるモデルの健全性を確保するための手法です。リンク。

ただし、AI による人間の欺瞞を防ぎ、基本的に AI をモデルのトレーニングと同期させるのは、大規模なモデル会社の仕事です。

人間が AI 技術を利用して詐欺を行う場合、ネットワークセキュリティや社会保障全体の段階にあります。まず第一に、テクノロジーの対立では問題の一部しか解決できないことを明確にする必要があります。監督、立法、その他の方法は、犯罪者の立場をコントロールする必要がある。

現在、テクノロジーと戦うには、制作側でAIが生成したコンテンツに電子透かしを加えてコンテンツの出所を追跡する方法と、アプリケーション側でターゲットを特定する方法の2つがあります。顔などの特定の特徴 より正確な識別のための生体認証特徴。

電子透かしは、デジタルキャリアに識別情報を埋め込むことができ、キャリアに特定のデジタルコードや情報を隠すことで、キャリアが改ざんされているかどうかを確認・判断することができ、デジタルコンテンツに目に見えない保護機構を提供します。

OpenAI は以前、 がモデルの悪用による悪影響を軽減するために ChatGPT にウォーターマークを追加することを検討していると述べました。Google は今年の開発者カンファレンスで、同社の AI 生成の画像には透かし が埋め込まれています。この透かしは肉眼では認識できませんが、Google 検索エンジンなどのソフトウェアはそれを読み取ってラベルとして表示し、画像が AI によって生成されたものであることをユーザーに思い出させることができます。 Shutterstock と Midjourney この新しいタグ付け方法もサポートされます。

現在では、従来の電子透かしに加え、ディープラーニングによる電子透かしも進化しており、ディープニューラルネットワークを用いて学習・埋め込むことで破壊性や堅牢性に優れた電子透かしが利用されています。この技術は、元の画像の品質を損なうことなく、高強度でフォールトトレラント性の高い電子透かし埋め込みを実現し、画像処理攻撃やステガナリシス攻撃に効果的に対抗することができる、次の大きな技術方向です。

アプリケーション側では、合成顔動画が現在最もよく使われている「詐欺手法」です。 DeepFake (ディープフェイク技術) をベースとしたコンテンツ検出プラットフォームは、現在のソリューションの 1 つです。

今年 1 月初旬、Nvidia は FakeCatcher と呼ばれるソフトウェアをリリースしました。このソフトウェアは、ビデオがディープ フェイクであるかどうかを最大 96% の精度で検出できると主張しています。

レポートによると、Intel の FakeCatcher テクノロジーは、血液が体内を循環する際の静脈の色の変化を識別できるそうです。次に、顔から血流信号が収集され、アルゴリズムによって変換され、ビデオが本物かディープフェイクかを識別します。本物の人間であれば、血液は常に体内を循環しており、皮膚の静脈は周期的に変化しますが、ディープフェイクの人間は変化しません。

▲画像出典 Real AI公式サイト

同様の技術原理に基づいた国内スタートアップ企業「Real AI」もあり、フェイクコンテンツと本物のコンテンツの表現の違いを特定し、異なる生成方法を通じてディープフェイクコンテンツの一貫性特性をマイニングしています。

(2) セキュリティのための AI: 成熟した業界チェーンにおける新たな機会

まだ比較的新興の業界機会である AI のためのセキュリティとは異なり、「セキュリティのための AI」は、元のセキュリティ システムの変革と強化に近いものです。

セキュリティのための AI に最初に挑戦したのはやはり Microsoft でした。3 月 29 日、Microsoft は Office スイートに AI 主導の Copilot アシスタントを提供した後、ほぼ即座にセキュリティ分野に注目し、GPT-4 を発表しました。ベースの生成 AI ソリューション - Microsoft Security Copilot。

Microsoft Security Copilot は依然として AI コパイロットの概念に重点を置いており、新しいセキュリティ ソリューションは含まれていませんが、AI による独自のエンタープライズ セキュリティの監視と処理の完全に自動化されたプロセスが含まれています。

▲画像出典 Microsoft公式サイト

Microsoft のデモから判断すると、Security Copilot は、当初は数時間、場合によっては数十時間かかっていたランサムウェア インシデントの処理を数秒に短縮し、企業のセキュリティ処理の効率を大幅に向上させることができます。

Microsoft AI セキュリティ アーキテクトのチャン カワグチカワグチ氏はかつて次のように述べています。「攻撃の数は増加していますが、防御者の力はさまざまなツールやテクノロジーに分散しています。私たちは、Security Copilot がその運用方法とその運用方法を変えることが期待されていると信じています。」セキュリティ ツールとテクノロジーの実際の成果を改善します。」

現在、国内のセキュリティ会社 Qi'anxin と Sangfor もこの分野の発展を追っています。現時点では、このビジネスは中国ではまだ初期段階にあり、両社はまだ具体的な製品を発表していないが、時間内に対応して国際的な大手企業に追いつくのは簡単ではない。

4 月、Google Cloud は RSAC 2023 で Security AI Workbench を発表しました。これは、Google の大規模なセキュリティ モデル Sec-PaLM に基づくスケーラブルなプラットフォームです。企業は、Security AI Workbench を通じてさまざまな種類のセキュリティ プラグインにアクセスし、特定のセキュリティ問題を解決できます。

▲出典：Google公式サイト

Microsoft Security Copilot がカプセル化されたパーソナル セキュリティ アシスタントのセットであるとすれば、Google の Security AI Workbench はカスタマイズ可能で拡張可能な AI セキュリティ ツールボックスのセットです。

つまり、急速に変化するネットワーク セキュリティの形態に対抗するために、AI を使用して自動セキュリティ オペレーション センターを構築することが大きなトレンドとなり、それが標準となるでしょう。

大手ヘッドメーカーに加えて、セキュリティ分野における大型 AI モデルの適用も毛細血管に参入しています。たとえば、多くの国内セキュリティ企業は AI を活用して従来のセキュリティ製品を変革し始めています。

たとえば、Sangfor は「AI クラウド ビジネス」のロジックを提案し、AIOps インテリジェント ディメンション統合テクノロジーを立ち上げました。デスクトップ クラウドのログ、リンク、指標データを収集することで、障害予測、異常検出、相関推論などのアルゴリズムを実行して、ユーザーにインテリジェントな分析サービスを提供します。

Shanshi Technology は、AI 機能をポジティブ フィードバックとネガティブ フィードバックの機械学習機能に統合します。ポジティブ フィードバック トレーニングと異常行動分析に関して、行動ベースラインに基づく学習により、脅威と異常を事前により正確に検出し、誤検知を減らすことができます。ネガティブフィードバック トレーニングに関しては、行動トレーニング、行動クラスタリング、行動分類、脅威判定が実行されます。さらに、セキュリティ運用の問題点分析などに AI を適用する Anbotong のような企業もあります。

海外では、オープンソース セキュリティ ベンダーの Armo が ChatGPT 統合をリリースし、自然言語を通じて Kubernetes クラスターのカスタム セキュリティ制御を構築することを目指しています。クラウド セキュリティ ベンダーの Orca Security は、ソリューションによって生成されたセキュリティ アラートを処理し、データ侵害インシデントを管理するための段階的な修復手順をユーザーに提供できる独自の ChatGPT 拡張機能をリリースしました。

もちろん、成熟した巨大な産業チェーンとして、セキュリティにおける AI のチャンスはこれよりもはるかに多くあります。ここでは表面をなぞっただけです。セキュリティ分野でより深く大きなチャンスを得るには、企業が引き続き努力する必要があります。セキュリティの最前線を探索してみましょう。

それよりも重要なのは、上記の企業が常に地に足をつけて初志を忘れないでほしいと願っています。広大な空への夢を一歩ずつ実践に移し、コンセプトを作って風に乗るのではなく、ましてや資本やホットマネーに迎合して羽だけ残さないようにしましょう。

＃＃＃結論＃＃＃

インターネットの誕生から 10 年の間に、ネットワーク セキュリティの概念と業界チェーンが形成され始めました。

ビッグモデルの登場から半年が経過した現在、ビッグモデルの安全性や不正防止が巷で話題になっています。これはテクノロジーの加速度的な進歩と反復によって「人間の意識」に組み込まれた防御機構であり、時代が進化するにつれてより早く発動され、フィードバックされるようになります。

今日の混乱とパニックはひどいものではなく、単なる次の時代のはしごにすぎません。

「人類の簡単な歴史」で述べられているように: 人間の行動は必ずしも理性に基づいているわけではなく、私たちの決定は感情や直感の影響を受けることがよくあります。しかし、これは進歩と発展にとって最も重要な部分です。

以上が10,000 ワードの長文丨 AI セキュリティ産業チェーン、ソリューション、起業の機会を解体するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。