人工智慧（Aritificial Intelligene）的概念在1956年，約翰麥卡錫在達茅斯學院夏季學術研討會上首次提出之前，人類已經在機器取代人類從事繁重、重複勞動的道路上不斷地探索。
1882年2月，尼古拉·特斯拉完成了困擾其5年的交流電發電機設想，欣喜若狂地感嘆道「從此之後人類不再是重體力勞動的奴役，我的機器將解放他們，全世界都將如此」。
1936年，為證明數學中存在不可判定命題，艾倫·圖靈提出「圖靈機」的設想，1948年在論文《 INTELLIGENT MACHINERY》中描繪了聯結主義的大部分內容，緊接著在1950年發表《COMPUTING MACHINERY AND INTELLIGENCE》，提出了著名的「圖靈測試」。同年，馬文·明斯基與其同學鄧恩·埃德蒙建造了世界上第一台神經網路電腦。
1955年馮諾伊曼接受了耶魯大學西里曼講座的邀請，講稿內容後來匯總成書《THE COMPUTER AND THE BRAIN》。
人工智慧自1956年提出到今天，經歷了三次發展高潮。
第一次發展高潮：1956年~1980年，以專家系統、經典機器學習為代表的符號主義（Symbolism）佔據主導地位。也稱為第一代人工智慧，符號主義提出基於知識和經驗的推理模型來模擬人類的理性智慧行為，像是推理、規劃、決策等。因此在機器裡建立知識庫和推理機制來模擬人類的推理和思考行為。
符號主義最具代表性的成果是1997年5月IBM國際象棋程式深藍打敗世界冠軍卡斯帕羅夫，成功要素有三：第一個要素是知識和經驗，深藍分析700000盤人類大師下過的棋局及全部的5-6隻殘局，總結成為下棋的規則。
接著透過大師與機器之間的對弈，調試評價函數中的參數，充分吸收大師的經驗。第二個要素是演算法，深藍使用阿爾法-貝塔剪枝演算法，速度很快。第三個要素是算力，IBM當時用RS/6000SP2機器，每秒能夠分析2億步，平均每秒鐘能夠往前預測8-12步。
符號主義的優勢是能夠模仿人類的推理和思考的過程，與人類思考問題過程一致，且可以舉一反三，因此具有可解釋性。但符號主義也存在著非常嚴重的缺陷，一是專家知識十分稀缺和昂貴，二是專家知識需要透過人工編程輸入到機器裡面，費時費力，三是有很多知識是很難表達，比如中醫專家號脈等經驗很難表達，因此符號主義的應用範圍非常有限。
第二次發展高潮：1980年~1993年，以符號主義和連結主義（Connectionism）為代表；
第三次發展高潮：1993年~1996年，深度學習借助算力和數據大獲成功，連結主義變得炙手可熱；
深度學習透過深度神經網路的模型模擬人類的感知，如視覺、聽覺、觸覺等。深度學習有兩個優點：第一個優點是不需要領域專家知識，技術門檻低；第二個優點是升級網路規模越大，能夠處理的資料越大。
深度學習一個最典型的例子是圍棋程式。在2015年10月之前，用符號主義的方法，即知識驅動的方法做出來的圍棋程序，最高達到業餘5段的水平。到了2015年10月份，圍棋程序打敗了歐洲的冠軍，到2016年3月份打敗了世界冠軍。到2017年10月份，AlphaGo元打敗了AlphaGo，AlphaGo元利用了深度學習，使得圍棋程序的水平實現了三級跳，從業餘跳到專業水平，又從專業水平到世界冠軍，又從世界冠軍到超過世界冠軍。
AlphaGo兩年實現了三級跳，成功主要來自於三個方面：大數據，演算法，算力。 AlphaGo學習了3000萬盤已有的棋局，自己與自己又下了3000萬盤，一共6000萬盤棋局，採用蒙特卡羅樹搜尋、強化學習、深度學習等演算法，一共用了1202個CPU和280個GPU來計算。
深度學習也有很大的局限性，如不可解釋、不安全、不易泛化、需要大量的樣本等。例如一張人臉的圖片加一點修改後可能被辨識成狗，為什麼會出現這種情況，人類無法理解，這就是不可解釋性。
2016年，以強化學習為代表的行為主義（Actionism）在AlphaZero橫空出世之後大獲關注，更是被譽為通往通用人工智慧的必經之路。
以邏輯推理為代表的符號主義以知識驅動智能，以深度學習為代表的連接主義以數據驅動智能，都存在很大的缺陷，應用範圍受限。
以強化學習為代表的行為主義綜合利用知識、數據、演算法和算力四個要素，將人腦的回饋、橫向連結、稀疏放電、注意力機制、多模態、記憶等機制引入，可望克服前兩代人工智慧的缺陷，並獲得更廣泛的應用。
大腦透過一段時間的生活，觀察世界並建立記憶模型；日常生活中，大腦都會自動地在潛意識中對照先前的記憶模型並預測下一步會發生什麼。當察覺到了一個和預測的情況不符合的時候就會引起大腦的回饋。
腦細胞之所以能夠進行訊息傳遞，是因為它們擁有神奇的觸手－樹突和軸突。憑藉著短短的樹突，腦細胞可以接受由其他腦細胞傳遞過來的訊息，而憑藉著長長的軸突，腦細胞又會把訊息傳遞給其他腦細胞（如下圖）。
訊息在腦細胞之間不斷地傳遞，便形成了人類的感覺和想法。而整個大腦，就是由腦細胞相互連結而成的一張大網，如下圖所示：
在機器學習領域中，為了要得到這樣一個人工神經網絡，首先，要規定一個神經網絡的結構，該網絡中有多少個神經元，神經元之間如何連接。接下來，需要定義一個誤差函數（error function）。誤差函數用來評估這個網路目前表現如何以及應該如何調整其中的神經元連接來減少誤差。突觸強度決定神經活動，神經活動決定網路輸出，網路輸出決定網路誤差。
目前，「反向傳播」（back propagation）是機器學習領域最常用、最成功的深度神經網路訓練演算法。用反向傳播訓練的網路在最近的機器學習浪潮中佔據著中流砥柱的地位，在語音和圖像識別、語言翻譯等方面取得不錯的效果。
同時也推動了無監督學習（unsupervised learning）的進步，在圖像和語音生成、語言建模和一些高階預測任務中已不可或缺。與強化學習互相配合，反向傳播能完成許多諸如精通雅達利遊戲，在圍棋和撲克牌上戰勝人類頂尖選手等控制任務（control problems）。
反向傳播演算法將誤差訊號（error signals）送入回饋連結（feedback connections），幫助神經網路調節突觸強度，在監督學習（supervised learning）領域使用得非常普遍。但大腦中的回饋連結似乎有著不同的作用，且大腦的學習大部分都是無監督學習。因此，反向傳播演算法能否解釋大腦的回饋機制？目前還沒有確定性答案。
人腦神經元間特殊的連結方式是研究人腦與眾不同的重要方向。核磁共振成像是這個研究的關鍵的工具，這種技術可以在不開顱骨的前提下，將神經元延伸出的連接不同腦區的長纖維可視化。這些連接像電線一樣在神經元間傳遞電訊號。所有這些連結合在一起被稱為連結組，它能為我們研究大腦如何處理資訊這個問題提供線索。
假設每個神經細胞與其他所有神經細胞相連，這種一對多的方式所構成的連接組是最高效的。但這種模式需要大量的空間和能量來容納所有的連接並維持其正常運轉，因此是肯定行不通的。另一種模式為一對一的連接，即每個神經元僅與其它單一神經元相連。這種連結難度較小，但同時效率也更低：訊息必須像踩著一塊一塊的墊腳石一樣穿過大量的神經細胞才能從A點到達B點。
「現實中的生命處於二者之間，」特拉維夫大學的Yaniv Assaf說道，他在《自然·神經科學》上發表了一項關於123種哺乳動物連接組的調查。此團隊發現不同物種的大腦中，訊息從一個位置到達另一個位置所需的墊腳石的數量是大致相等的，而且採用的連接方式是相似的。但不同物種間腦內連結佈局實現的方式卻有差異。對於有著少數連通大腦兩個半球的長距離連接的物種，每一個腦半球中往往會有更多較短的連接，腦半球中鄰近的腦區會頻繁交流。
人類大腦內在數十億個神經細胞，它們彼此之間透過神經突觸相互影響，形成極其複雜的相互連結。記憶就是腦神經細胞之間的相互呼叫作用，其中有些相互呼叫作用所維持時間是短暫的，有些是持久的，而有些則介於兩者之間。
腦神經元之間存在四種基本交互作用形式：
人腦內存在多種不同活性的神經元細胞，分別負責短期、中期、長期記憶。
活潑神經元細胞負責短期記憶，數量較少，決定人的短期反應能力 。這種細胞在受到神經訊號刺激時，會短暫出現感應閾下降的現象，但其突觸一般不會發生增生，而且感應閾下降只能維持數秒至數分鐘，然後就會回復到正常水平。
中性神經元細胞負責中期記憶，數量居中，決定人的學習適應能力 。這種細胞在受到適量的神經訊號刺激時，就會發生突觸增生，但這種突觸增生較慢，需要多次刺激才能形成顯著的改變，而且增生狀態只能維持數天至數週，較容易發生退化。
惰性神經元細胞負責長期記憶，數量較多，決定人的知識累積能力。這種細胞受到大量反覆的神經訊號刺激時，才會發生突觸增生，這種突觸增生極緩慢，需要很多次反覆刺激才能形成顯著的改變，但增生狀態能維持數月至數十年，不易退化。
當一個腦神經元細胞受到刺激發生興奮時，它的突觸就會發生增生或感應閾下降，經常受到刺激而反覆興奮的腦神經元細胞，它的突觸會比其它較少受到刺激和興奮的腦神經元細胞具有更強的信號發放和信號接受能力。
當兩個相互間有突觸鄰接的神經元細胞同時受到刺激而同時發生興奮時，兩個神經元細胞的突觸就會同時發生增生，以至它們之間鄰接的突觸對的相互作用得到增強，當這種同步刺激反覆多次後，兩個神經元細胞的鄰接突觸對的相互作用達到一定的強度(達到或超過一定的閾值)，則它們之間就會發生興奮的傳播現象，就是當其中任何一個神經元細胞受到刺激發生興奮時，都會引起另一個神經元細胞發生興奮，從而形成神經元細胞之間的相互呼應聯繫，這就是即記憶聯繫。
因此記憶指可回憶，可回憶決定於神經元細胞之間聯繫的通暢程度，即神經元細胞之間的聯繫強度大於感應閾，形成神經元細胞之間的顯性聯繫，這就是大腦記憶的本質。
人腦在進行閱讀時，並不是嚴格的解碼過程，而是接近一種模式辨識。大腦會自動忽略低可能、低價值的訊息，也會自動地基於上下文的訊息，將閱讀的內容更正為“大腦認為正確的版本”，這就是所謂的人腦注意力。
「注意力機制」（Attention Mechanism）是機器學習中仿生人腦注意力的一種資料處理方法，廣泛應用在自然語言處理、影像辨識及語音辨識等各種不同類型的機器學習任務中。例如機器翻譯常採用「LSTM 注意力」模型，LSTM（Long Short Term Memory）是RNN（循環神經網路）的一種應用。可以簡單理解為，每一個神經元都有輸入閘、輸出閘、遺忘門。輸入門、輸出門將LSTM神經元首尾連接在一起，而遺忘門將無意義內容弱化或遺忘。 「注意力機制」就應用在LSTM的遺忘門，使得機器閱讀更貼近於人類閱讀的習慣，也使得翻譯結果有脈絡連結。
十五年前，Quiroga等人發現人類大腦中擁有多模態神經元。這些神經元會對圍繞著一個高級主題的抽象概念（而不是對特定視覺特徵的抽象概念）做出反應。其中，最著名的當屬「Halle Berry」神經元，只對美國女演員「Halle Berry」的相片、草圖、文字做出反應，在《科學美國人》和《紐約時報》都使用過此例子[ 11]。
OpenAI發布的CLIP，採用多模態神經元，達到了可與ResNet-50表現力相比肩的通用視覺系統，在一些具有挑戰性的數據集上，CLIP的表現超過了現有的視覺系統。
機器學習引入多模態神經元，指對文字、聲音、圖片、影片等多模態的資料和資訊進行深層多維度的語義理解，包括資料語義、知識語義、視覺語義、語音語意一體化和自然語言語意等多面向的語意理解技術。例如視覺語意化可以讓機器從看清到看懂視頻，並提煉出結構化語意知識。
自動駕駛系統是典型的智慧型系統，美國SAE自動駕駛分級標準將自動駕駛系統依照自動化程度分為五個等級：
等級 |
#定義 |
|
L0 |
#無自動化 |
駕駛員執行所有的操作任務，例如轉向、煞車、加速或減速等。 |
L1 |
駕駛員輔助 |
駕駛員在車輛自動化駕駛系統的輔助下仍然可以處理所有加速、煞車和周圍環境的監控。 |
L2 |
#部分自動化 |
汽車自動化駕駛系統可以輔助轉向或加速功能，並允許駕駛員從他們的一些任務中解脫出來。駕駛員必須隨時準備好控制車輛，並且仍然負責大多數安全關鍵功能和所有環境監控。 |
L3 |
#條件自動化 |
車輛自動化駕駛系統本身控制著對環境的所有監測。駕駛者的注意力在這個層面上仍然很重要，但可以脫離煞車等「安全關鍵」功能。 |
L4 |
高度自動化 |
車輛自動駕駛系統將首先在條件安全時通知駕駛員，然後駕駛員將車輛切換到該模式。它無法在更動態的駕駛情況（如交通堵塞或併入高速公路）之間做出判斷。車輛自動駕駛系統能夠轉向、煞車、加速、監控車輛和道路以及反應事件，確定何時變換車道、轉彎和使用訊號。 |
L5 |
# 完全自動化 |
自動駕駛系統控制所有的關鍵任務、監控環境和識別獨特的駕駛條件，如交通堵塞，無需駕駛員關注。 |
我們從車輛自動駕駛系統的分級可以看出，智慧系統L0級完全是人類決策，L1~L2級是機器基於全量資料做資料整理與分析，人類做推理判斷與決策，也就是所謂的數據驅動模式，L3~L4是機器基於全量資料做資料整理、分析、邏輯推理、判斷與決策，但需要人類在適當的時候幹預，L5是完全的智慧機器，無需人類幹預，即所謂的智慧驅動模式。
機器要具有智能，也就是讓機器成為一個智能係統，至少需要具備如下圖所示的組成部分：感知、認知、理解、決策、行動。
感知組件的作用是對環境進行資料監測與採集，產出的是資料。本質是將物理空間資料化，將物理空間完全映射到資料空間。
認知組件的功能是將資料整理與總結歸納，提煉出有用的信息。
理解組件的作用是對提煉出來的資訊進一步提煉與總結歸納，得到知識。人類理解的知識是用自然語言表達，對於機器來說，用基於代表問題空間的資料集進行訓練而得到的「模型」來表達。
決策組件的角色是基於知識進行推理與判斷。對機器來說，就是用訓練好的模型在新的資料空間中進行推理與判斷，產生對目標任務的策略。
行動組件的作用是基於策略對環境進行互動，對環境產生影響。
回饋元件的作用是動作作用於環境後形成回饋，回饋促進感知體系感知更多的數據，進而持續獲得更多的知識，對目標任務做出更好的決策，形成閉迴路持續迭代進化。
人工智慧與網路安全的結合總有兩個維度，四個像限[9]：縱向上，一端是給智慧安全，一端是給安全以智能；橫向上，一端是攻擊視角，一端是防禦視角。如下圖所示，四個像限代表了兩者結合的四個作用：
#智慧自身安全性包括智慧科技本身引進可被利用的脆弱性和智慧技術本身脆弱性所引入的安全問題。主要有採用人工智慧的業務安全、演算法模型安全、資料安全、平台安全等。
演算法模型的安全性問題主要包括模型訓練完整性威脅、測試完整性威脅、模型穩健性缺乏、模型偏見威脅等，例如繞過攻擊（透過對抗性樣本操縱模型決策和結果）、毒化攻擊（注入惡意資料降低模型可靠性和精確度）、推斷攻擊（推斷特定資料是否用於模型訓練）、模型抽取攻擊（透過惡意查詢命令暴露演算法細節）、模型逆轉攻擊（透過輸出資料推斷輸入資料）、重編程攻擊（改變AI模型用於非法用途）、歸因推斷攻擊、木馬攻擊、後門攻擊等。資料安全主要包括基於模型輸出的資料外洩和基於梯度更新的資料外洩；平台安全包括硬體設備安全問題和系統及軟體安全問題。
針對人工智慧的這些不安全性問題的防禦技術主要有演算法模型自身安全性增強、AI資料安全與隱私洩漏防禦和AI系統安全防禦。演算法模型自身安全性增強技術包括訓練資料導向的防禦（例如對抗訓練、梯度隱藏、阻斷可轉移性、資料壓縮、資料隨機化等）、面向模型的防禦（例如正規化、防禦蒸餾、特徵擠壓力、深度收縮網路、掩藏防禦等）、特異性防禦、穩健性增強、可解釋性增強等；AI資料安全與隱私洩漏防禦技術主要有模型結構防禦、資訊混淆防禦和查詢控制防禦等。
給智慧安全，指智慧科技本身所帶來的新的脆弱性，對於攻擊者來說可以利用，對於防護者來說可能引入新的安全隱患。
給予安全以智能，指攻擊者可以利用智慧技術實施攻擊，防護者利用智慧技術提升安全防護能力。主要體現在安全回應自動化和安全決策自主化。提高安全響應自動化目前主要有兩種主流方法：
下圖是一個以SOAR為中心的自動回應工作流程的示意圖：
1994年，認知科學家Steven Pinker在《The Language Instinct》中寫道「對人工智慧而言，困難的問題是易解的，簡單的問題是難解的」。 「簡單的複雜問題」指的是問題空間是閉合的，但是問題本身卻又有較高的複雜度，例如下圍棋屬於簡單的複雜問題。 「複雜的簡單問題」指的是問題空間是無限開放式的，但問題本身卻沒有很高的複雜度。
例如網路安全問題就屬於複雜的簡單問題，因為安全攻擊的技術與方式時刻處於變化，也無法窮舉的，但具體到某個具體的網路攻擊，則往往是有跡可循的。
今天智慧技術在“簡單的複雜問題”的領域，往往都比人類會更強，但對於“複雜的簡單問題”，泛化界限引起的空間爆炸，人工智慧往往都會失效。
不幸的是，網路安全問題屬於複雜的簡單問題，人工智慧在網路安全問題空間的應用面臨挑戰。特別是莫拉維克悖論（由人工智慧和機器人學者所發現的一個和常識相左的現象。
和傳統假設不同，人類所獨有的高階智慧能力只需要非常少的運算能力，例如推理，但是無意識的技能和直覺卻需要極大的運算能力。）在網路安全領域表現更為明顯。
人工智慧技術應用到網路安全存在下面的挑戰：問題空間不閉合、樣本空間不對稱、推理結果要么不準確要么不可解釋、模型泛化能力衰退、跨領域思維融合挑戰。
#如上圖所示，網路安全的問題空間包含已知與未知。而已知又包括已知的已知，如某個已知的漏洞，未知的已知，如某個還未被發現的已知被揭露的安全漏洞；未知包括已知的未知，如軟體系統必然存在某個安全漏洞，未知的未知，如根本不知道會有什麼風險或威脅。
未知的未知是網路安全無法避免的困境，使得網路安全問題空間不閉合，也就導致負向數據（如攻擊數據、風險數據等）的嚴重缺乏導致特徵空間的不對稱，進而導致特徵空間無法真正表徵問題空間。模型是已有資料空間下關於世界的假設，並且用於在新的資料空間下進行推理。今天人工智慧技術已經能很好的解決表示輸入和輸出之間的非線性複雜關係，但對於樣本空間相對開放的問題空間來說嚴重不對稱。
人工智慧應用以輸出決策判斷為目標。可解釋性是指人類能夠理解決策原因的程度。人工智慧模型的可解釋性越高，人們就越容易理解為什麼做出某些決定或預測。模型可解釋性指對模型內部機制的理解以及對模型結果的理解。建模階段，輔助開發人員理解模型，進行模型的比較選擇，必要時優化調整模型；在投入運行階段，向決策方解釋模型的內部機制，對模型結果進行解釋。
在建模階段，人工智慧技術存在決策準確性與決策可解釋性的矛盾，神經網路的決策準確性高，但可解釋性差，決策樹的可解釋性強，但準確性不高。當然現在已經有兩者結合的方法，某種程度上在兩者之間取得平衡。
在投入運作階段，向決策方解釋模型的內部機制以及決策結果的解釋，涉及資料隱私、模型安全等方面的道德兩難。
20世紀六十年代，貝爾-拉帕杜拉安全模型（Bell-LaPadula）指出「當僅當系統開始於安全的狀態，且一直不會落入非安全狀態，它才是安全的」。
人工智慧技術用模型來表徵問題空間，但由於安全的本質是資源與智力的對抗，因此安全問題空間永遠都不是閉合的，在訓練集上表現良好的模型，對於大規模的現實環境，一上線就存在著不斷的對抗，進而不斷跌入失效的狀態，模型泛化能力衰退。
知識與推理是人類智慧的基礎，電腦要實現推理與決策，則需要解決三個問題：知識表示與推理形式、不確定性知識表示與推理、常識表示與推理。
牌類是不完全資訊博弈，電腦打牌要比下棋困難得多。 2017年人工智慧在6人無限注德州撲克牌上才戰勝了人類。牌類是機率確定性問題，而現實環境是完全不確定的，甚至是對抗環境，因此複雜環境下的自主決策具有很大的挑戰性。
對抗場景下的自主決策的挑戰主要有兩個面向：環境的動態性和任務的複雜性。環境的動態性包括不確定條件、不完全資訊、情勢動態變化、即時博弈；任務複雜性包括資訊收集、攻擊、防禦、偵察、騷擾等。
對抗場景下的自主決策通常利用常識和邏輯演繹來彌補資訊的不完全性，進而透過融合人類領域知識和強化學習結果生成預案，協助做出正確決策。
複雜環境下的自主決策也需要解決如何適應環境變化而相應地做出決策變化的問題。例如自動駕駛將物體辨識出來後建立模型，在此基礎上做即時的駕駛規劃，但難以應付突發事件。因此自動駕駛也需要駕駛的知識和經驗，需要在環境的不斷互動過程中學習這些經驗知識，也就是強化學習。
因此智慧賦能的安全系統的威脅偵測與防護的自主決策能力是衡量其智慧程度的關鍵指標之一。參考自動駕駛系統的分級，可建構一個智慧安全自主度模型。
#等級 |
##定義 |
|
L0 |
無自主化 | 防禦對抗完全依賴安全專家人工進行。 |
L1 |
#安全專家輔助 |
防護系統進行已知攻擊與威脅的偵測與防禦，正確率、漏報率與誤報率優化，威脅研判與溯源等其他需要安全專家人工進行。 |
L2 |
#部分自主化 |
防護系統進行已知攻擊與威脅的偵測與防護，也能感知未知威脅，但正確率、漏報率與誤報率最佳化，威脅研判與溯源等其他需要安全專家人工進行。 |
L3 |
#條件自主化 |
防護系統進行已知與未知攻擊與威脅的偵測與防護，也能持續優化正確率、漏報率與誤報率，對抗自主學習與升級，但威脅研判、溯源、反應等其他需要安全專家人工進行。 |
L4 |
#高度自主化 |
防護系統完成所有攻擊與威脅的偵測、決策、防護、研判、溯源等，安全專家在過程中少量的介入與反應。 |
L5 |
# 完全自主化 |
防護系統自主完成所有攻擊與威脅的偵測、決策、防護、研判、溯源等，全程不需要安全專家的介入與回應。 |
以上是ChatGPT爆火出圈帶來的AI網路安全的思考的詳細內容。更多資訊請關注PHP中文網其他相關文章！
