ChatGPT 自發布以來一直受到關注,被認為是當前最強大的語言模型之一。它的文本生成能力已經不輸人類,甚至有機器學習頂會為此明令禁止研究者使用 ChatGPT 寫論文。
但近期有一篇論文居然在作者一欄明確署名 ChatGPT,這是怎麼回事?
這篇論文是發表在醫學研究論文平台medRxiv 上的《Performance of ChatGPT on USMLE: Potential for AI-Assisted Medical Education Using Large Language Models》,ChatGPT 是論文的第三作者。
從論文題目就能看出,這篇論文的主要內容是研究 ChatGPT 在美國醫師執照考試 (USMLE) 中的表現。實驗結果表明,在沒有任何專門的訓練或強化的情況下,ChatGPT 在所有考試中的成績都達到或接近通過門檻。並且,ChatGPT 產生的答案表現出高度的一致性和洞察力。該研究認為大型語言模型可能有助於醫學教育,並可能有助於臨床決策。
從研究的內容看,ChatGPT 似乎更像是研究對象,就像推特網友說的:「如果人類研究者為實驗結果做出貢獻,那他們當然是論文合著者,但是模型和演算法還沒有這種先例。」
#不過,留言區馬上就有另一位網友反駁他:之前一篇名為《Rapamycin in the context of Pascal's Wager: generative pre-trained transformer perspective》的論文不僅署名了,ChatGPT 甚至還是第一作者。
這篇論文收錄在美國國立衛生研究院(NIH)的 Oncoscience 中。不過,從論文作者貢獻中,我們發現,這篇論文的大部分內容確實是由ChatGPT 產生的—— 論文第二作者Alex Zhavoronkov 詢問ChatGPT 與研究主題有關的問題,ChatGPT 自動產生大量觀點及解釋,然後由Alex Zhavoronkov 來審核ChatGPT 所產生的內容。此外,ChatGPT 也協助修改論文格式。
《Rapamycin in the context of Pascal's Wager: generative pre-trained transformer perspective》論文內容截圖。
在決定論文署名時,Alex Zhavoronkov 聯繫OpenAI 聯合創始人兼CEO Sam Altman 進行了確認,最終以ChatGPT 作為第一作者來發表這篇論文。這說明大型語言模型等強大的 AI 系統未來將對學術工作做出有意義的貢獻,甚至有能力成為論文合著者。
然而,讓大型語言模型寫學術論文也存在一些弊端,例如機器學習頂會ICML 表示:「ChatGPT 接受公共資料的訓練,這些資料通常是未經同意的情況下收集的,這會帶來一系列的責任歸屬問題。」
近期在西北大學Catherine Gao 等人的一項研究中,研究者選取一些發表在美國醫學會雜誌(JAMA)、新英格蘭醫學雜誌(NEJM)、英國醫學期刊(BMJ)、《柳葉刀》和《Nature Medicine》上的人工研究論文,使用ChatGPT 為論文生成摘要,然後測試審查人是否可以發現這些摘要是AI 產生的。
實驗結果表明,審查者僅正確識別了 68% 的生成摘要和 86% 的原始摘要。他們錯誤地將 32% 的生成摘要識別為原始摘要,將 14% 的原始摘要識別為 AI 生成的。審稿者表示:「要區分兩者出奇地困難,生成的摘要比較模糊,給人一種公式化的感覺。」
##這實驗結果說明人類研究員已經很難分辨文本是AI 生成還是人類寫的,這並不是一個好現象,AI 似乎「矇騙過關」了。
然而,到目前為止,語言模型產生的內容還不能完全保證其正確性,甚至在一些專業領域的錯誤率是很高的。如果無法區分人工編寫內容和 AI 模型生成內容,那麼人類將面臨被 AI 誤導的嚴重問題。
以上是一位論文作者火了,ChatGPT等大型語言模型何時能成為論文合著者?的詳細內容。更多資訊請關注PHP中文網其他相關文章!