三位OpenAI掌舵人親自撰文：我們該如何治理超級智慧？

AI，從來沒有像今天這樣，如此廣泛地影響人類的生活，以及給人類帶來如此多的擔憂和麻煩。

像所有以往其他重大技術革新一樣，AI 的發展亦有兩面，一面向善，一面向惡，這也是當前全球各國監管機構開始積極介入的重要原因之一。

無論如何，AI 技術的發展好似已經是大勢所趨、勢不可擋，如何讓AI 在符合人類價值觀和倫理的前提下更安全地開發和部署，是目前所有AI 從業者都需要認真思考的問題。

今天，OpenAI 的三位共同創辦人－CEO Sam Altman、總裁Greg Brockman、首席科學家Ilya Sutskever  共同撰文探討如何治理超級智慧（superintelligence）的問題。他們認為，現在是開始思考超級智慧治理的好時機了--未來的人工智慧系統甚至比AGI的能力還要大。

根據我們目前看到的情況，可以設想，在未來十年內，人工智慧（AI）將在大多數領域達到超越人類專家的技能水準，並能開展與今天最大的公司之一一樣多的生產活動。

無論是潛在的好處和壞處，超級智慧將比人類過去必須面對的其他技術更強大。 我們可以擁有一個不可思議般繁榮的未來；但我們必須管理好風險才能到達那裡。 考慮到有風險（existential risk）的可能性，我們不能只是被動地應對。核能便是其中具有這種特性的技術的例子；另一個是合成生物學。

同樣，我們必須減輕目前AI技術的風險，但超級智慧將需要特殊的處理和協調。

一個起點

在我們成功引領這發展的機會中，有許多重要的想法；在這裡，我們其中三個想法進行了初步思考。

首先，我們需要在領先的開發努力之間進行一些協調，從而確保超級智慧的開發是以一種既能讓我們保持安全又能幫助這些系統與社會順利融合的方式進行。 有許多方法可以實現這一點；世界上的主要政府可以共同建立一個項目，讓許多當前的努力成為其中一部分，或者我們可以透過「集體同意」（有一個新組織的支持力量，如下面建議的那樣）的方式，將前沿AI能力的增長限制在每年一定的速度。

當然，個別公司也應該以極高的標準被要求負責任地進行開發。

其次，我們最終可能需要類似國際原子能總署（IAEA）的機構來監管超級智慧的開發；任何超過一定能力（或計算等資源）門檻的努力都需要受到這一國際機構的監督，該機構可以檢查系統、要求審計、測試是否符合安全標準、對部署程度和安全級別進行限制等。 追蹤運算和能源使用情況會有很大的幫助，並給我們一些希望，這個想法實際上是可以實現的。作為第一步，公司可以自願同意開始實施這樣一個機構有朝一日可能要求的要素，而第二步，各國可以實施它。重要的是，這樣一個機構應專注於減少「存在風險」，而不是應該留給各國的問題，如定義AI應該被允許說什麼。

#

第三，我们需要有足够的技术能力来使超级智能安全。这是一个开放的研究问题，我们和其他人正在投入大量的精力。

不在讨论范围内的内容

我们认为，允许公司和开源项目在显著能力门槛以下开发模型是很重要的，而不需要我们在这里描述的那种监管（包括繁琐的机制，如许可证或审计）。

如今的系统将为世界创造巨大的价值，虽然它们确实存在风险，但这些风险水平似乎与其他互联网技术相当，而且社会的应对方式似乎是合适的。

相比之下，我们关注的系统将拥有超越迄今为止任何技术的力量，我们应该注意不要通过将类似的标准应用于远低于这个门槛的技术来淡化对它们的关注。

公共参与和潜力

但对，最强大的系统的治理，以及有关其部署的决定，必须有强大的公众监督。我们相信，世界各地的人们应该民主地决定AI系统的界限和默认值。我们还不知道如何设计这样一个机制，但我们计划做一些试验。我们依然认为，在这些广泛的界限内，个人用户应该对他们使用 AI 的行为方式有很大的控制权。

考虑到风险和困难，值得思考的是，我们为什么我们要构建这项技术。

在 OpenAI，我们有两个基本原因。首先，我们相信它将带来一个比我们今天所能想象的更好的世界（我们已经在教育、创造性工作和个人生产力等领域看到了这方面的早期例子）。世界面临着很多问题，我们需要更多的帮助来解决它们；这项技术可以改善我们的社会，而每个人使用这些新工具的创造力肯定会让我们感到惊讶。经济增长和生活质量的提高将是惊人的。

其次，我们相信，停止构建超级智能将是一个具有非直观风险且困难重重的决策。由于其巨大的优势，构建超级智能的成本每年都在降低，构建者的数量也在迅速增加，而且它本质上是我们所处技术路径的一部分，要停止它需要类似于全球监控制度的存在，而即使有这样的制度也不能保证成功。因此，我们必须做到正确无误。

以上是三位OpenAI掌舵人親自撰文：我們該如何治理超級智慧？的詳細內容。更多資訊請關注PHP中文網其他相關文章！