超級智慧的發展是科學家爭論不休的話題。超級智能是從更傳統的通用人工智慧(AGI)概念演變而來的。在未來十年內，這種強大的技術有可能出現，既能夠解決全球重要問題，也有可能導致人類權利的流失或消失。
OpenAI(美國人工智慧研究公司)的策略包括創建一個具有人類水平能力的自動對齊研究人員，並利用大量計算資源迭代地訓練和對齊超級智慧。該過程被稱為超級智慧對齊，要求進行人工智慧對齊技術的創新、廣泛驗證以及對抗性壓力測試。
為了回應這項挑戰，OpenAI正投入大量資源和研究，並積極鼓勵傑出的研究人員和工程師共同合作。然而，術語從通用人工智慧到超級智慧的轉變，是否會對圍繞人工智慧風險和利益的持續爭論產生深遠影響，還有待觀察。
超級智慧的潛力是OpenAI強調的，它被認為是有史以來最具影響力的技術之一，有能力解決全球性的重大問題。儘管如此，它也承認與超級智慧相關的巨大風險，這可能導致人類失去權力甚至滅絕。
OpenAI相信，雖然超級智慧看似遙不可及，但它有可能在接下來的十年內實現。為了因應超級智慧與人類意圖保持一致的挑戰，需要建立新的治理機構來管理這些風險。引人注目的是，OpenAI採用的術語不是傳統的通用人工智慧(AGI)。他們的理由如下：
我們更重視超級智能，而不是通用人工智慧，以突顯更高的能力水準。在未來幾年裡，我們對這項技術的發展速度有很多不確定性，所以我們選擇瞄準更困難的目標，以校準一個更有能力的系統。
目前的人工智慧對齊技術，尚無法完全掌控潛在的超級智慧人工智慧，儘管存在一些方法如強化學習根據人類回饋進行改進。人類無能可靠地對比我們聰明得多的系統進行監管，現有技術也無法在超級智慧領域擴展。 OpenAI強調需要科學和技術突破來克服這些挑戰。
OpenAI的方法旨在開發一個自動對齊研究人員，其能力大致接近人類層級。大量的運算資源將被用來擴展他們的努力，並迭代地調整超級智慧。這項工作的關鍵步驟包括開發可擴展的訓練方法、驗證所產生的模型，並對對齊管道進行壓力測試。根據OpenAI公告的標題，這個概念被稱為超級智慧對齊。
為了克服人類評估具有挑戰性任務的困難, 可以使用可擴展的監督，借助人工智慧系統進行解決。對於驗證一致性至關重要，需要將監督應用於無監督任務，並檢測有問題的行為和內部結構。訓練未對齊的模型也是一種有助於驗證對齊技術效果的對抗性測試方法。
OpenAI預計，隨著對該問題的了解越來越多，其研究重點將會發生變化，並且他們計劃在未來分享他們的路線圖。他們形成了一個由頂級機器學習研究人員和工程師組成的團隊，專注於解決超級智慧對齊的問題。在接下來四年，OpenAI將投入其總計運算能力的20%用於此項工作。
儘管不能保證成功，但OpenAI仍然持樂觀態度，認為透過集中一致的努力可以解決這個問題。他們的目標是提供證據和論點，讓機器學習和安全社群相信問題已經解決，他們正在積極與跨學科專家合作，考慮更廣泛的人類和社會問題。
OpenAI歡迎優秀的研究人員和工程師，即使是那些過去沒有參與過對齊工作的人，也能夠加入到他們的努力中。他們認為超級智慧對齊是最重要的未解決的技術問題之一，並認為這是一個易於處理的機器學習問題，具有重大貢獻的潛力。
似乎在人工智慧、通用人工智慧和涉及實用性和人類毀滅的複雜關聯問題上，激烈的爭論正在產生新的分歧。如今，詞彙已經發生了一些變化，但尚不清楚這是科學還是語義。
以上是超級智能到底是什麼？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
