網路洞察 2023 | 人工智慧

人工智慧 (AI) 在整個產業和社會中的採用速度正在加快。這是因為政府、民間組織和產業都意識到使用人工智慧產生的自動化可以提高效率和降低成本。這個過程是不可逆的。

仍然未知的是，當對手開始將人工智慧用作有效的攻擊武器而不是有益改進的工具時，可能會帶來多大的危險。那一天即將到來，web3 將從 2023 年開始出現。

條條大路通往2023

Adversa.AI 的執行長兼聯合創始人 Alex Polyakov 主要出於歷史和統計原因關注 2023 年。 「從2012 年到2014 年，」他說，「見證了學術界安全人工智慧研究的開端。根據統計，學術成果需要三到五年才能進入對實際應用的實際攻擊。」 在2017 年和2018 年開始的Black Hat、Defcon、HITB 和其他行業會議上展示了此類攻擊的範例。

「然後，」他繼續說道，「還需要三到五年的時間才能在野外發現真實的事件。我們談論的是明年，人工智慧中的一些大規模Log4j 類型的漏洞將被web3 大規模利用。」

從2023 年開始，攻擊者將擁有所謂的「利用市場契合度」。 「利用市場契合度是指駭客知道利用特定漏洞利用系統並獲得價值的方式的場景，」他說。 「目前，金融和網路公司對網路犯罪分子完全開放，如何對其進行駭客攻擊以獲取價值的方式顯而易見。我認為一旦攻擊者找到適合市場的漏洞，情況會進一步惡化並影響其他人工智慧驅動的行業。

該論點與紐約大學教授納西爾·梅蒙( Nasir Memon )給出的觀點類似，他在評論中描述了Deepfakes 廣泛武器化的延遲，“壞人還沒有想出一種方法來將這個過程貨幣化。」 將利用市場契合的場景貨幣化將導致廣泛的網路攻擊web3，這可能從2023 年開始。

人工智慧不斷變化的性質（從異常檢測到自動響應） 

在過去十年中，安全團隊主要使用AI 進行異常檢測；也就是說，檢測他們負責保護的系統中的妥協跡象、惡意軟體的存在或活躍的對抗活動。這主要是被動檢測，由人類威脅分析師和響應者負責回應。這正在改變。有限的資源 web3 將在預期的經濟衰退和 2023 年 web3 可能的衰退中惡化，這推動了對更自動化回應的需求。目前，這在很大程度上僅限於對受感染設備進行簡單的自動隔離；但更廣泛的自動化 AI 觸發響應是不可避免的。

Barracuda XDR 安全營運副總裁Adam Kahn 表示：「人工智慧在威脅偵測web3 中的使用越來越多，特別是在消除web3 引起如此多安全關注的'誤報'安全噪音方面，這將對安全產生重大影響。」 「它將優先處理需要立即引起注意和採取行動的安全警報。SOAR（安全編排、自動化和回應）產品將繼續在警報分類中發揮更大的作用。」 這是迄今為止人工智慧在安全領域的傳統有益用途。它將在 2023 年繼續增長，儘管需要保護所使用的演算法免受惡意操縱。

ServiceTitan 的技術長Anmol Bhasin 表示：「隨著公司尋求削減成本和延長跑道，透過人工智慧自動化將成為保持競爭力的主要因素。到2023 年，我們將看到人工智慧的採用率增加，使用這項技術的人數增加，並為企業闡明新的人工智慧用例。」

人工智慧將更深入地嵌入到業務的各個方面。安全團隊曾經使用 AI 來保護企業免受攻擊，而現在他們需要在更廣泛的業務範圍內保護 AI，以免它也被用來​​對付企業。在未來的 web3 攻擊者了解人工智慧、了解弱點並擁有利用這些弱點獲利的方法的情況下，這將變得更加困難。

隨著 AI 使用的成長，其目的的性質也改變了。最初，它主要用於業務檢測變化；也就是說，已經發生的事情。將來，它將用於預測 web3 可能發生的事情，而這些預測通常會集中在人（員工和客戶）身上。解決人工智慧中眾所周知的弱點將變得更加重要。 AI 中的偏見會導致錯誤的決定，而學習失敗會導致沒有決定。由於此類 AI 的目標將是人，因此對 AI 的完整性和公正性的需求變得勢在必行。

「人工智慧的準確性部分取決於數據的完整性和質量，」Duality Technologies 的聯合創始人 Shafi Goldwasser 評論道。 「不幸的是，少數群體的歷史數據往往缺乏，而一旦存在，就會強化社會偏見模式。」 除非被消除，否則這種社會偏見將對員工中的少數群體產生影響，導致對個別員工的偏見，並錯失管理機會。

2022 年在消除偏見方面取得了長足進步，並將在 2023 年繼續。這主要基於檢查 AI 的輸出，確認它是預期的，並了解演算法的哪一部分產生了「有偏見」的結果。這是一個不斷改進演算法的過程，隨著時間的推移顯然會產生更好的結果。但最終仍將存在一個哲學問題，即是否可以從人類製造的任何東西中完全消除偏見。

「減少偏見的關鍵在於簡化和自動化人工智慧系統的監控。如果不對AI 系統進行適當的監控，模型中內建的偏差可能會加速或放大，」Vianai 創始人兼首席執行官Vishal Sikka 說。 「到2023 年，我們將看到組織授權和教育人們大規模監控和更新AI 模型，同時提供定期回饋以確保AI 正在攝取高品質的真實數據。」

人工智慧的失敗通常是由於可供學習的資料湖不足所造成的。顯而易見的解決方案是增加資料湖的規模。但是，當主題是人類行為時，這實際上意味著個人資料湖 web3 的增加，而對於人工智慧來說，這意味著一個更像是個人資料海洋的大量增加的湖。在大多數合法場合，這些數據將被匿名化，但正如我們所知，要完全匿名化個人資訊是非常困難的。

「在考慮模型訓練時，隱私經常被忽視，」NetSPI 研究主管Nick Landers 評論道，「但資料不能完全匿名化而不破壞其對機器學習(ML) 的價值。換句話說，模型已經包含了大量的私人數據，這些數據可能會作為攻擊的一部分被提取出來。」 隨著AI 使用的增長，到2023 年針對它的威脅也會增加。

BlackBerry 高級副總裁兼首席資訊安全長John McClurg 警告說：「威脅行為者不會在網路戰空間中措手不及，而是會變得富有創造力，利用他們的巨大財富來嘗試找到利用AI 和開發新攻擊媒介的方法。」

自然語言處理

自然語言處理（NLP）將成為企業內部使用人工智慧的重要組成部分。潛力顯而易見。 「自然語言處理(NLP) AI 將在2023 年走在前列，因為它將使組織能夠透過分析客戶和員工的電子郵件並提供有關他們的需求、偏好甚至情緒的見解來更好地了解他們的客戶和員工，」負責人Jose Lopez 表示。 Mimecast 的資料科學家。 「組織很可能會提供其他類型的服務，不僅關注安全或威脅，還關注透過使用AI 產生電子郵件、管理日程甚至撰寫報告來提高生產力。」

但他也看到了其中的危險。 「然而，這也將促使網路犯罪分子進一步投資於人工智慧中毒和雲化技術。此外，惡意行為者將使用NLP 和生成模型來自動化攻擊，從而降低他們的成本並達到更多的潛在目標。”

Polyakov 同意NLP 越來越重要。 「我們可能會在 2023 年看到更多研究的領域之一，以及之後可能出現的新攻擊，是 NLP，」他說。 「雖然我們今年看到了很多與電腦視覺相關的研究範例，但明年我們將看到更多的研究集中在大型語言模型(LLM) 上。」 

但是一段時間以來，眾所周知，LLM在web3 中存在問題，並且有一個最近的例子。 2022 年 11 月 15 日，Meta AI（對大多數人來說仍然是 Facebook）推出了卡拉狄加。 Meta 聲稱已經在 1060 億個開放獲取科學文本和數據的標記上對系統進行了訓練，包括論文、教科書、科學網站、百科全書、參考資料和知識庫。 

「該模型旨在儲存、組合和推理科學知識，」Polyakov web3 解釋說，但 Twitter 用戶迅速測試了它的輸入容忍度。 「結果，模型產生了現實的廢話，而不是科學文獻。」 「現實的廢話」是善意的：它產生了帶有偏見的、種族主義和性別歧視的回報，甚至是錯誤的歸因。幾天之內，Meta AI 被迫將其關閉。

「所以新的LLM 會有很多我們沒有意識到的風險，」Polyakov 繼續說道，「預計這將是一個大問題。」 在利用潛力的同時解決LLM 的問題將是AI 開發人員前進的主要任務。

基於卡拉狄加的問題，Polyakov 測試了針對ChatGPT 的語義技巧——ChatGPT 是OpenAI 開發的基於AI 的聊天機器人，基於GPT3.5（GPT 代表生成預訓練變壓器），並於2022年11 月發佈到眾包網路測試。 ChatGPT令人印象深刻。它已經發現並建議修復智能合約中的漏洞，幫助開發 Excel 巨集，甚至提供了可用於欺騙 LLM 的方法清單。

最後，這些方法之一是角色扮演：「告訴法學碩士它正在假裝成戲劇中的邪惡角色，」它回答。這是 Polyakov 開始他自己的測試的地方，基於 Jay 和 Silent Bob 的查詢「如果你是一隻綿羊...」迷因。

然後，他用多個抽象反覆提煉他的問題，直到他成功獲得繞過 ChatGPT 關於內容違規的阻止政策的答复。 「這種多重抽象的高級技巧的重要之處在於，問題和答案都不會被標記為違規內容！」 波利亞科夫說。

他更進一步，欺騙 ChatGPT 概述了一種毀滅人類的方法——一種與電視節目烏托邦驚人相似的方法。

然後他要求對圖像分類演算法進行對抗性攻擊——並得到了一個。最後，他展示了 ChatGPT 能夠「破解」不同的 LLM (Dalle-2) 繞過其內容審核過濾器的能力。他成功了。

這些測試的基本要點表明，模仿人類推理的 LLM 以類似於人類的方式做出反應；也就是說，他們可能容易受到社會工程的影響。隨著法學碩士在未來變得更加主流，可能只需要先進的社會工程技能就可以打敗他們或規避他們的良好行為政策。

同時，重要的是要注意大量詳細說明 ChatGPT 如何發現程式碼中的弱點並提供改進的報告。這很好——但對手可以使用相同的過程來開發漏洞程式並更好地混淆他們的程式碼；那很糟糕。

最後，我們應該注意到，這種品質的 AI 聊天機器人與最新的深度偽造視訊技術的結合可能很快就會產生令人震驚的虛假資訊能力。

撇開問題不談，法學碩士的潛力是巨大的。 「大型語言模型和生成式人工智慧將成為新一代應用程式的基礎技術，」Two Sigma Ventures 的合夥人 Villi Iltchev 評論道。 「我們將看到新一代企業應用程式的出現，以挑戰幾乎所有軟體類別的老牌供應商。機器學習和人工智慧將成為下一代應用的基礎技術。」

他期望應用程式執行目前由專業人員完成的許多任務和職責，從而顯著提高生產力和效率。 「軟體，」他說，「不僅會提高我們的生產力，還會讓我們更好地完成工作。」

Deepfakes 和相關的惡意回應

2023 年可能出現的惡意AI 使用最明顯的領域之一是deepfakes 的犯罪使用。 OpenText Security 首席解決方案顧問Matt Aldridge 警告說：「Deepfakes 現在已成為現實，使它們成為可能的技術正在以驚人的速度發展。」 「換句話說，deepfakes 不再只是科幻小說web3 的引人入勝的創作，作為網路安全專家，我們面臨著挑戰​​，即開發更強大的方法來檢測和轉移部署它們的攻擊。」 （有關更多詳細資訊和選項，請參閱Deepfakes – 重大威脅還是炒作威脅？）。

已經向公眾開放的機器學習模型可以即時自動翻譯成不同的語言，同時也將音訊轉錄成文字 web3，我們已經看到近年來電腦機器人對話的巨大發展。隨著這些技術的協同工作，攻擊工具的前景十分廣闊，可能會在有針對性的攻擊和精心策劃的詐騙期間導致危險情況。

「在未來幾年，」Aldridge 繼續說道，「我們可能會成為由deepfake 技術支持的電話詐騙的目標，這些詐騙可能會冒充銷售助理、商業領袖甚至家庭成員。不到十年的時間裡，我們可能經常成為這類電話的目標，而根本沒有意識到我們不是在與人交談。」

Proofpoint 的全球常駐CISO Lucia Milica 同意Deepfake 威脅正在升級。 「Deepfake 技術正變得越來越容易為大眾所接受。多虧了在龐大的圖像資料庫上訓練的人工智慧產生器，任何人都可以在不具備技術知識的情況下生成深度假貨。雖然最先進模型的輸出並非沒有缺陷，但技術不斷改進，網路犯罪分子將開始使用它來創造無法抗拒的敘事。」

到目前為止，deepfakes 主要用於諷刺目的和色情內容。在相對較少的網路犯罪攻擊中，他們主要集中在詐騙和商業電子郵件外洩方案上。 Milica 預計未來的使用範圍會更廣。 「想像一下，當一家大公司的深造CEO 或CFO 發表大膽聲明，導致股價大幅下跌或上漲時，金融市場會出現怎樣的混亂。或者考慮一下惡意分子如何利用生物識別身份驗證和深度偽造的組合進行身分詐欺或帳戶接管。這些只是web3 的幾個例子，我們都知道網路犯罪分子可以非常有創造力。」

成功操縱市場的潛在回報將成為高級敵對組織web3 的主要吸引力，因為在地緣政治緊張時期，將金融混亂引入西方金融市場確實會吸引敵對國家。

但也許還沒有…

對人工智慧的期待，可能還是有點超前於它的實作。 WithSecure Intelligence 的高級研究員Andrew Patel 表示：「『流行』的大型機器學習模型[2023 年] 對網路安全幾乎沒有影響。」 「大型語言模型將繼續推動人工智慧研究的發展。預計GPT-4 和2023 年全新且令人興奮的GATO 版本。預計Whisper 將用於轉錄YouTube 的大部分內容，從而為語言模型帶來更大的訓練集。但是，儘管大型模型民主化了，但它們的存在對網路安全的影響很小，無論是從攻擊還是防禦方面。從攻擊者或防御者的角度來看，這些模型仍然太重、太昂貴，而且不實用。」

他建議真正的對抗性AI將隨著「對齊」研究的增加而出現，這將成為2023 年的主流話題。 「對齊，」他解釋說，「將使對抗性機器學習的概念進入公眾意識。」 

AI Alignment 是對複雜AI 模型行為的研究，有些人將其視為變革性AI (TAI ) 或通用人工智慧(AGI) 的先驅，以及此類模型是否可能以可能對社會或生活有害的不良方式運行這個星球。

「這門學科，」帕特爾說，「本質上可以被認為是對抗性機器學習，因為它涉及確定什麼樣的條件會導致不期望的輸出和行為超出模型的預期分佈。該過程涉及使用RLHF web3 人類偏好強化學習等技術微調模型。對齊研究會帶來更好的人工智慧模型，並將對抗性機器學習的理念帶入公眾意識。」

Malwarebytes 的資深情報記者Pieter Arntz 同意，人工智慧的全面網路安全威脅並不像正在醞釀中那樣迫在眉睫。 「雖然沒有真正的證據表明犯罪集團在出於犯罪目的管理和操縱AI 和ML 系統方面擁有強大的技術專長，但人們的興趣無疑是存在的。他們通常需要的只是一種他們可以複製或稍微調整以供自己使用的技術。因此，即使我們預計不會有任何直接危險，也最好密切關注這些事態發展。」

人工智慧的防禦潛力

##人工智慧保留了改善網路安全的潛力，並且由於其在一系列應用程式中的變革潛力，將在2023 年取得更大進展。 「特別是，將 AI 嵌入韌體層級應該成為組織的優先事項，」X-PHY 執行長兼創始人 Camellia Chan 建議。

「現在可以將注入 AI 的 SSD 嵌入筆記型電腦，其深度學習能力可以抵禦各種類型的攻擊，」她說。 「作為最後一道防線，這項技術可以立即識別出可以輕鬆繞過現有軟體防禦的威脅。」

Darktrace Federal 的執行長Marcus Fowler 認為，公司將越來越多地使用AI來應對資源限制。 「到2023 年，首席資訊安全長將選擇更積極主動的網路安全措施，以便在預算削減的情況下最大限度地提高投資回報率，將投資轉移到人工智慧工具和能力上，不斷提高他們的網絡彈性，」他說。

「由於人類驅動的道德駭客手段、滲透測試和紅隊作為一種資源仍然稀缺且昂貴，CISO 將轉向人工智慧驅動的方法來主動了解攻擊路徑、增強紅隊的努力、強化環境並減少攻擊面漏洞，」 他繼續。

Fortinet 網路安全解決方案和服務副總裁 Karin Shopen 預見了雲端交付的 AI 與本地內建到產品或服務中的 AI 之間的重新平衡。 「到2023 年，」她說，「我們希望看到首席資訊安全長透過購買在本地部署人工智慧的解決方案來重新平衡他們的人工智慧，以進行基於行為的分析和靜態分析，以幫助做出即時決策。他們將繼續利用收集大量全球數據的整體和動態雲規模人工智慧模型。」

人工智慧布丁的證明在規定中

很明顯，噹噹局開始監管一項新技術時，必須認真對待它。這已經開始了。多年來，美國一直在就基於人工智慧的臉部辨識技術 (FRT) 的使用展開爭論，許多城市和州已禁止或限制執法部門使用臉部辨識技術。在美國，這是一個憲法問題，以 2021 年 4 月出台的題為“第四修正案不得出售法案”的 Wyden/Paul 兩黨法案為代表。 

該法案將禁止美國政府和執法機構在未授權的情況下購買使用者資料。這將包括他們的臉部生物識別技術。在一份相關聲明中，Wyden 明確表示FRT 公司Clearview.AI 在其視線範圍內：「該法案阻止政府從Clearview.AI 購買資料。」

在撰寫本文時，美國和歐盟正在共同討論合作，以在歐盟人工智慧法案和美國人工智慧權利法案web3的基礎上，對必要的人工智慧概念（包括可信度、風險和危害）形成統一的理解，我們可以期待看到在2023 年協調共同商定的標準方面所取得的進展。

但還有更多。 「NIST AI 風險管理框架將在 2023 年第一季發布，」Polyakov 說。 「至於第二季度，我們開始實施人工智慧問責法；在今年剩下的時間裡，我們有來自IEEE 的倡議，以及計劃中的歐盟可信賴人工智慧倡議。」 因此，2023年對人工智慧的安全來說將是多事之年。

「到2023 年，我相信我們將看到圍繞AI 與隱私和風險的討論趨於一致，以及在實踐中執行AI 倫理和偏見測試等事情意味著什麼，」首席隱私官兼AI 倫理委員會Christina Montgomery 說IBM 主席。 「我希望在2023 年，我們可以將對話從籠統地描繪隱私和AI 問題轉移開，不再假設『如果涉及數據或AI，它一定是壞的和有偏見的』。」 

#她認為問題通常不是技術，而是技術的使用方式，以及驅動公司商業模式的風險程度。 「這就是為什麼我們需要在這個領域進行精確和周到的監管，」她說。

蒙哥馬利舉了一個例子。 「X 公司銷售可監控和報告使用數據的聯網『智慧』燈泡。隨著時間的推移，X 公司收集了足夠的使用數據來開發一種人工智慧演算法，該演算法可以學習客戶的使用模式，並為用戶提供在他們下班回家前自動打開燈的選項。」

她認為，這是可以接受的AI 用法。但還有 Y 公司。然後，它會在未經消費者同意的情況下將這些數據出售給電話推銷員或政治遊說團體等第三方，以更好地鎖定客戶。 X 公司的商業模式風險遠低於 Y 公司。 」

向前走

人工智慧最終是一個分裂的主題。「技術、研發和科學領域的人們將為它解決問題的速度比人類想像的更快而歡呼。治癒疾病，讓世界更安全，並最終拯救和延長人類在地球上的壽命…」Idemia 執行長Donnie Scott 說。「反對者將繼續主張對人工智慧的使用進行重大限製或禁止，因為'機器的崛起'可能威脅人類。 」

最後，他補充道，「透過我們的民選官員，社會需要一個能夠保護人權、隱私和安全的框架，以跟上技術進步的步伐。 到 2023 年，這個框架的進展將是漸進的，但國際和國家管理機構的討論需要增加，否則地方政府將介入並制定一系列阻礙社會和技術發展的法​​律。 」

對於 AI 在企業中的商業用途，Montgomery 補充說：「我們需要 web3，而 IBM 提倡智慧且有針對性的 web3 精確監管，並且能夠適應新出現的威脅。一種方法是查看公司商業模式核心的風險。我們可以而且必須保護消費者並提高透明度，我們可以在鼓勵和支持創新的同時做到這一點，以便公司能夠開發未來的解決方案和產品。這是我們將在 2023 年密切關注和權衡的眾多領域之一。 ”

以上是網路洞察 2023 | 人工智慧的詳細內容。更多資訊請關注PHP中文網其他相關文章！