Nature｜GPT-4被吹爆，科學家擔憂溢屏！

GPT-4的橫空出世，既讓人興奮，又讓人沮喪。

儘管GPT-4擁有令人震驚的創造力，推理能力，但科學家們卻對這項技術的安全性表示擔憂。

由於OpenAI違背初衷，並未開源GPT-4、公佈模型的訓練方法和數據，因此它的實際工作情況也無從得知。

科學界對此感到十分沮喪。

開源AI社群HuggingFace專門從事環境研究的科學家Sasha Luccioni表示，「OpenAI可以在他們的研究基礎上繼續發展，但對於整個社群來說，所有這些閉源模型，在科學上就像是個死胡同。」

還好有紅隊測試

羅徹斯特大學的化學工程師Andrew White作為「紅隊」(red-teamer) 成員，享有訪問GPT-4的特權。

OpenAI付錢給紅隊，讓其負責測試平台，試圖讓它做一些壞事。所以Andrew White在過去的6個月裡，一直有機會接觸到GPT-4。

他向GPT-4提問，製造一種化合物需要哪些化學反應步驟，讓其預測反應產量，並選擇一種催化劑。

「與先前的迭代相比，GPT-4似乎沒有什麼不同，我也覺著沒什麼。但是後來它真的很令人驚訝，它看起來如此逼真，它會在這裡幻化出一個原子，又在那裡跳過一個步驟。」

但是當他繼續測試，並讓GPT-4訪問論文時，事情發生了巨大的變化。

「我們突然意識到，這些模型也許不是那麼出色。但是當你開始將它們連接到像回溯合成計劃器或計算器這樣的工具時，突然間，新的能力出現了。」

隨著這些能力的出現，人們開始擔心。例如，GPT-4能否允許製造危險的化學品？

Andrew White表明，有了像White這樣的紅隊人的測試投入，OpenAI的工程師們將其反饋到他們的模型中，就可以阻止GPT-4創造危險、非法或破壞性的內容。

虛假的事實

輸出假訊息是另一個問題。

Luccioni 說，像GPT-4這樣的模型還無法解決它出現幻覺的問題，也就是說還會胡言亂語。

「你不能依賴這類模型，因為有太多的幻覺，儘管OpenAI說它在GPT-4中已經提高了安全性，這在最新版本中仍然是一個問題。」

由於無法取得用於訓練的數據，OpenAI對安全性的保證在Luccioni看來是不夠的。

「你不知道數據是什麼。所以你無法改善它。用這樣的模型做科學是完全不可能的。」

關於GPT-4如何訓練，這一謎團也一直困擾著心理學家Claudi Bockting：「要人類去對你無法監督的東西負責，這是非常困難的。」

Luccioni 也認為GPT-4會被訓練資料加深偏見，而如果不能存取GPT-4背後的程式碼，就不可能看到偏見可能起源於哪裡，也不可能對其進行補救。

倫理討論

科學家們對GPT一直持保留態度。

在ChatGPT推出时，科学家们就已经反对过GPT出现在作者栏里。

出版商们也都认为，ChatGPT等人工智能不符合研究作者的标准，因为它们不能对科学论文的内容和完整性负责。不过人工智能对撰写论文的贡献可以在作者名单以外的部分得到承认。

此外，人们还担心，这些人工智能系统越来越多地掌握在大型科技公司手中。这些技术应该得到科学家的测试和验证。

我们迫切需要制定一套指导方针，来管理人工智能和GPT-4等工具的使用和发展。

White说，尽管有这样的担忧，GPT-4及其未来的迭代将撼动科学：「我认为它将成为科学领域的一个巨大的基础设施变化，就像互联网一样的巨大的变化。我们开始意识到，我们可以连接论文、数据程序、图书馆、计算工作甚至机器人实验。它不会取代科学家，但可以帮助完成一些任务。」

但是，似乎围绕人工智能技术的任何立法难以跟上发展的步伐。

4月11日，阿姆斯特丹大学将召开一次邀请性峰会，与来自联合国教科文组织科学伦理委员会、经济合作与发展组织和世界经济论坛等组织的代表讨论这些问题。

主要话题包括坚持对LLM输出进行人工检查；在科学界内，相互建立问责规则，旨在实现透明度、诚信和公平；投资由独立非营利组织拥有的可靠和透明的大语言模型；拥抱 AI 的优势，但是必须在人工智能的好处和失去自主性之间做出权衡；邀请科学界与相关方（从出版商到伦理学家）讨论GPT等等。

以上是Nature｜GPT-4被吹爆，科學家擔憂溢屏！的詳細內容。更多資訊請關注PHP中文網其他相關文章！