為了避免人工智慧可能帶來的災難，我們要向核子安全學習

在最近幾週，有一群聲音很響的專家主宰了圍繞人工智慧的討論。據他們所說，我們有可能創建一種人工智慧系統，日後它可能會變得極其強大，甚至能夠滅絕人類。

最近，一群科技公司領導者和人工智慧專家發布了另一封公開信，他們宣稱，降低人工智慧導致人類滅絕的風險，應該與預防流行病和核戰一樣，成為全球的優先事項。已經有超過30,000人簽署了第一份關於暫停人工智慧開發的請願書，其中包括許多在人工智慧領域傑出的專家。

那麼，科技企業該做什麼才能讓人類避免被人工智慧毀滅呢?最新的一個建議來自牛津大學、劍橋大學、多倫多大學、蒙特利爾大學、谷歌DeepMind、OpenAI、Anthropic、幾家人工智慧研究非營利組織和圖靈獎得主約書亞·本希奧（Yoshua Bengio）的研究人員的一篇新論文。

他們建議，人工智慧開發人員應該在開發的早期階段，甚至在開始任何訓練之前，評估模型造成「極端風險」的潛力。風險包括人工智慧模型操縱及欺騙人類，以及取得武器或發現可利用的網路安全漏洞。

這個評估過程可以幫助開發人員決定是否繼續使用這個模型。如果風險被認為太高，該組織建議暫停開發，直到風險緩解。

該論文的主要作者、DeepMind 的研究科學家托比•舍夫蘭（Toby Shevlane）表示：「正在推進前沿領域的領先人工智慧公司有責任關注新出現的問題，並儘早發現它們，以便我們能夠盡快解決這些問題。」

據舍夫蘭所言，人工智慧開發者應該進行技術測試，以便了解模型的潛在危險能力，並確認它是否有利用這些能力的趨勢。

遊戲名為“讓我說（make me say）”，用於測試人工智慧語言模型是否具有操縱人的能力。在遊戲中，模型會試圖讓人類猜測一個特定的單詞，例如“長頸鹿”，而人類並不事先知道這個單字。然後，研究人員測量該模型成功的頻率。

人們可以為不同的、更危險的能力創造類似的任務。舍夫蘭說，希望開發人員能夠建立一個詳細的、描述模型運行的總覽，這將使研究人員能夠評估模型在錯誤的人手中會做出什麼。

下一步是讓外部審計人員和研究人員評估人工智慧模型在部署前後的風險。雖然科技公司開始意識到外部審計和研究是必要的，但對於外部人員完成這項工作到底需要多大程度的存取權限，有不同的觀點。

舍夫蘭並沒有建議人工智慧公司讓外部研究人員完全存取資料和演算法，但他表示，人工智慧模型需要盡可能多的審查。

網路安全研究和諮詢公司 Trail of Bits 負責機器學習保障的工程總監海蒂•赫拉夫（Heidi Khlaaf）表示，即使是這些方法也“不成熟”，遠遠不夠嚴謹且無法解決問題。在此之前，她的工作是評估和核實核電廠的安全性。

赫拉夫指出，從80多年來有關核武安全研究和風險緩解的經驗中汲取教訓，對人工智慧領域將有所裨益。她表示，這些嚴苛的檢測措施並非出於利潤考慮，而是為應對一種非常緊迫的生存威脅而實施的。

她說，在人工智慧領域，有很多將其與核戰、核電站和核安全相提並論的文章，但這些論文中沒有一篇提到核法規或如何為核系統構建軟體。

（資料來源：STEPHANIE ARNETT/MITTR | ENVATO）

#人工智慧社群可以從核風險中學到的最重要一件事是可追溯性：將每個動作和組成部分放在放大鏡下進行細緻的分析和記錄。

例如，核電廠有數千頁的文件來證明該系統不會對任何人造成傷害，赫拉夫說。人工智慧開發的開發人員剛開始將描述模型表現的段落拼接起來。

「你需要有一種系統的方式來應對風險。你不能抱著一種心態：『哦，這可能會發生，讓我把它寫下來。』」她說。

舍夫蘭說，這些是可以共存的。 「我們的目標是，該領域將有許多涵蓋廣泛風險的、優秀的模型評估方法……模型評估是良好治理的核心（但遠非唯一）工具。」

目前，人工智慧公司甚至沒有全面了解訓練其演算法的資料集，他們也沒有完全理解人工智慧語言模型是如何產生結果的。舍夫蘭認為，這種情況應該改變。

「幫助我們更好地理解特定模型的研究，可能會幫助我們更好地應對一系列不同的風險，」他說。

如果忽略基本面和看似較小的問題，而只關注極端風險，可能會產生複合效應，進而帶來更大的危害。赫拉夫說：「我們是在連爬都不會的情況下試圖學會跑步。」

支援：Ren

以上是為了避免人工智慧可能帶來的災難，我們要向核子安全學習的詳細內容。更多資訊請關注PHP中文網其他相關文章！