首頁 科技週邊 人工智慧 人工智慧高歌猛進背後暗藏多重安全風險

人工智慧高歌猛進背後暗藏多重安全風險

Apr 12, 2023 pm 08:25 PM
人工智慧 安全 人臉辨識

試想一下,有人將一張“貼紙”貼在面部,就可以使人臉識別門禁系統誤認為是你,從而輕而易舉地打開大門;同樣是這張“貼紙”,把它貼在眼鏡上,就可以1秒鐘解鎖你的手機人臉識別,探取隱私如入無人之境。這並非科幻大片的想像,而是首屆人工智慧安全大賽頒獎典禮現場展示的真實攻防場景。

人工智慧高歌猛進背後暗藏多重安全風險

前不久,由國家工業資訊安全發展研究中心、清華大學人工智慧研究院和北京瑞萊智慧科技有限公司等單位共同主辦的首屆人工智慧安全大賽落幕。大賽期間,有關人工智慧安全風險引發討論。與會專家表示,人工智慧安全風險已非未來挑戰,而是眼前威脅,要重視人工智慧安全體系建設,加速促進人工智慧安全領域關鍵技術研究與攻防實務。

人工智慧和其他通用技術一樣,在高歌猛進的同時,也帶來了一定的風險和隱患。曾獲「吳文俊人工智慧優秀青年獎」的瑞萊智慧執行長田天認為,人工智慧技術風險發生的範圍,正隨著應用場景的日趨廣泛而逐步擴大,風險發生的可能性也隨著其應用頻次的成長而持續提高。在他看來,人工智慧目前的安全風險主要可以從「人」與「系統」這兩個視角來剖析。

從人的角度來評估人工智慧的安全問題,首當其衝就是技術的兩面性問題,存在著人工智慧濫用的問題。具體到人工智慧的應用中來看,最典型的代表就是深度偽造技術,它的負向應用風險持續加劇且已產生實質危害。

這次大賽的人臉辨識破解演示,所揭示的正是系統的風險,它來自深度學習演算法本身的脆弱性。以深度學習演算法為核心的第二代人工智慧是個“黑盒子”,具有不可解釋性,意味著系統存在結構性的漏洞,可能受到不可預測的風險,典型的就比如現場演示的“神奇貼紙” ,其實就是“對抗樣本攻擊”,透過在輸入資料中添加擾動,使得系統做出錯誤判斷。

這漏洞在自動駕駛感知系統同樣存在。正常情況下,在識別到路障、指示牌、行人等目標後,自動駕駛車輛就會立即停車,但在目標物體上添加干擾圖案後,車輛的感知系統可能會出錯,徑直撞上去。

大賽期間,《人工智慧算力基礎設施安全發展白皮書》發布。其中提到,人工智慧算力基礎設施不同於傳統的算力基礎設施,既是“基礎設施”又是“人工智慧算力”也是“公共設施”,具有基建屬性、技術屬性、公共屬性三重屬性。相應地,推動人工智慧算力基礎設施安全發展應從強化自身安全、保障運作安全、助力安全合規三個面向發力。

統籌發展與安全,似乎是每項新科技發展過程中面臨的必然問題,如何實現高水準發展與高水準安全的良性互動,也是當前人工智慧產業發展最為重要的命題之一,現場多位專家就此話題展開討論。

「人工智慧對抗攻防包括對抗樣本、神經網路後門、模型隱私問題等多方面技術。模型有錯誤,就需要及時的修復。」中國科學院資訊安全國家重點實驗室副主任陳愷提出「神經網路手術刀」的方法,透過定位引發錯誤的神經元,進行精準「微創」修復。

陳愷表示,不同於傳統的模型修復工作需要重新訓練模型,或者依賴較大量的數據樣本,這種方式類似於“微創手術”,只需極少量數據樣本,能夠大幅提升模型修復效果。

開放環境下的人工智慧系統面臨諸多安全挑戰,如何解決通用人工智慧演算法全週期的安全保障問題成為重中之重。

北京航空航天大學軟體開發環境國家重點實驗室副主任劉祥龍表示,從技術上來看應形成從安全性測試到安全性分析與安全性加固的完整技術手段,最終形成標準化的測試流程。

他同時指出,未來的人工智慧安全應該圍繞著從資料、演算法到系統各個層次的全面評測,同時配合一套從硬體到軟體的安全可信任運算環境。

工商銀行金融研究院安全攻防實驗室主管專家蘇建明表示,人工智慧安全治理需要廣泛協作和開放創新,需加強政府、學術機構、企業等產業各參與者的互動合作,建立積極的生態規則。政策層面加速人工智慧的立法進程,加強對人工智慧服務水準、技術支撐能力等專案監督考核力度。學術層面,加大對人工智慧安全研究的激勵投入,透過產學研合作模式加速科研成果的轉化與落實。企業層面,逐步推動人工智慧技術由場景拓展向安全可信發展轉變,透過參與標準制定,推出產品服務,持續探索人工智慧安全實踐及解決方案。

事實上,建構人工智慧的安全生態,一方面需要技術的持續演進,一方面也需要專項技術人才的建構與培養。田天表示,由於人工智慧安全研究目前仍屬於新興領域,專項人才較少,缺乏系統性的研究隊伍,此次大賽透過實戰演練的方式,驗證和提升選手實戰能力,為培育一批高水平、高層次的人工智慧安全新型人才團隊提供了「快速通道」。

專家們認為,從長遠看,人工智慧的安全問題,還需從演算法模型的原理上突破,唯有持續加強基礎研究,才能破解核心科學問題,同時他們強調,人工智慧的未來發展需確保對整個社會、國家發展的有效性和正向促進性,需要政產學研用多方協同共進。

以上是人工智慧高歌猛進背後暗藏多重安全風險的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

位元組跳動剪映推出 SVIP 超級會員:連續包年 499 元,提供多種 AI 功能 位元組跳動剪映推出 SVIP 超級會員:連續包年 499 元,提供多種 AI 功能 Jun 28, 2024 am 03:51 AM

本站6月27日訊息,剪映是由位元組跳動旗下臉萌科技開發的一款影片剪輯軟體,依託於抖音平台且基本面向該平台用戶製作短影片內容,並相容於iOS、安卓、Windows 、MacOS等作業系統。剪映官方宣布會員體系升級,推出全新SVIP,包含多種AI黑科技,例如智慧翻譯、智慧劃重點、智慧包裝、數位人合成等。價格方面,剪映SVIP月費79元,年費599元(本站註:折合每月49.9元),連續包月則為59元每月,連續包年為499元每年(折合每月41.6元) 。此外,剪映官方也表示,為提升用戶體驗,向已訂閱了原版VIP

使用Rag和Sem-Rag提供上下文增強AI編碼助手 使用Rag和Sem-Rag提供上下文增強AI編碼助手 Jun 10, 2024 am 11:08 AM

透過將檢索增強生成和語意記憶納入AI編碼助手,提升開發人員的生產力、效率和準確性。譯自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG,作者JanakiramMSV。雖然基本AI程式設計助理自然有幫助,但由於依賴對軟體語言和編寫軟體最常見模式的整體理解,因此常常無法提供最相關和正確的程式碼建議。這些編碼助手產生的代碼適合解決他們負責解決的問題,但通常不符合各個團隊的編碼標準、慣例和風格。這通常會導致需要修改或完善其建議,以便將程式碼接受到應

七個很酷的GenAI & LLM技術性面試問題 七個很酷的GenAI & LLM技術性面試問題 Jun 07, 2024 am 10:06 AM

想了解更多AIGC的內容,請造訪:51CTOAI.x社群https://www.51cto.com/aigc/譯者|晶顏審校|重樓不同於網路上隨處可見的傳統問題庫,這些問題需要跳脫常規思維。大語言模型(LLM)在數據科學、生成式人工智慧(GenAI)和人工智慧領域越來越重要。這些複雜的演算法提升了人類的技能,並在許多產業中推動了效率和創新性的提升,成為企業保持競爭力的關鍵。 LLM的應用範圍非常廣泛,它可以用於自然語言處理、文字生成、語音辨識和推薦系統等領域。透過學習大量的數據,LLM能夠產生文本

微調真的能讓LLM學到新東西嗎:引入新知識可能讓模型產生更多的幻覺 微調真的能讓LLM學到新東西嗎:引入新知識可能讓模型產生更多的幻覺 Jun 11, 2024 pm 03:57 PM

大型語言模型(LLM)是在龐大的文字資料庫上訓練的,在那裡它們獲得了大量的實際知識。這些知識嵌入到它們的參數中,然後可以在需要時使用。這些模型的知識在訓練結束時被「具體化」。在預訓練結束時,模型實際上停止學習。對模型進行對齊或進行指令調優,讓模型學習如何充分利用這些知識,以及如何更自然地回應使用者的問題。但是有時模型知識是不夠的,儘管模型可以透過RAG存取外部內容,但透過微調使用模型適應新的領域被認為是有益的。這種微調是使用人工標註者或其他llm創建的輸入進行的,模型會遇到額外的實際知識並將其整合

你所不知道的機器學習五大學派 你所不知道的機器學習五大學派 Jun 05, 2024 pm 08:51 PM

機器學習是人工智慧的重要分支,它賦予電腦從數據中學習的能力,並能夠在無需明確編程的情況下改進自身能力。機器學習在各個領域都有廣泛的應用,從影像辨識和自然語言處理到推薦系統和詐欺偵測,它正在改變我們的生活方式。機器學習領域存在著多種不同的方法和理論,其中最具影響力的五種方法被稱為「機器學習五大派」。這五大派分別為符號派、聯結派、進化派、貝葉斯派和類推學派。 1.符號學派符號學(Symbolism),又稱符號主義,強調利用符號進行邏輯推理和表達知識。該學派認為學習是一種逆向演繹的過程,透過現有的

為大模型提供全新科學複雜問答基準與評估體系,UNSW、阿貢、芝加哥大學等多家機構共同推出SciQAG框架 為大模型提供全新科學複雜問答基準與評估體系,UNSW、阿貢、芝加哥大學等多家機構共同推出SciQAG框架 Jul 25, 2024 am 06:42 AM

編輯|ScienceAI問答(QA)資料集在推動自然語言處理(NLP)研究中發揮著至關重要的作用。高品質QA資料集不僅可以用於微調模型,也可以有效評估大語言模型(LLM)的能力,尤其是針對科學知識的理解和推理能力。儘管目前已有許多科學QA數據集,涵蓋了醫學、化學、生物等領域,但這些數據集仍有一些不足之處。其一,資料形式較為單一,大多數為多項選擇題(multiple-choicequestions),它們易於進行評估,但限制了模型的答案選擇範圍,無法充分測試模型的科學問題解答能力。相比之下,開放式問答

SOTA性能,廈大多模態蛋白質-配體親和力預測AI方法,首次結合分子表面訊息 SOTA性能,廈大多模態蛋白質-配體親和力預測AI方法,首次結合分子表面訊息 Jul 17, 2024 pm 06:37 PM

編輯|KX在藥物研發領域,準確有效地預測蛋白質與配體的結合親和力對於藥物篩選和優化至關重要。然而,目前的研究並沒有考慮到分子表面訊息在蛋白質-配體相互作用中的重要作用。基於此,來自廈門大學的研究人員提出了一種新穎的多模態特徵提取(MFE)框架,該框架首次結合了蛋白質表面、3D結構和序列的信息,並使用交叉注意機制進行不同模態之間的特徵對齊。實驗結果表明,該方法在預測蛋白質-配體結合親和力方面取得了最先進的性能。此外,消融研究證明了該框架內蛋白質表面資訊和多模態特徵對齊的有效性和必要性。相關研究以「S

SK 海力士 8 月 6 日將展示 AI 相關新品:12 層 HBM3E、321-high NAND 等 SK 海力士 8 月 6 日將展示 AI 相關新品:12 層 HBM3E、321-high NAND 等 Aug 01, 2024 pm 09:40 PM

本站8月1日消息,SK海力士今天(8月1日)發布博文,宣布將出席8月6日至8日,在美國加州聖克拉拉舉行的全球半導體記憶體峰會FMS2024,展示諸多新一代產品。未來記憶體和儲存高峰會(FutureMemoryandStorage)簡介前身是主要面向NAND供應商的快閃記憶體高峰會(FlashMemorySummit),在人工智慧技術日益受到關注的背景下,今年重新命名為未來記憶體和儲存高峰會(FutureMemoryandStorage),以邀請DRAM和儲存供應商等更多參與者。新產品SK海力士去年在

See all articles