首頁 > 科技週邊 > 人工智慧 > ChatGPT標註數據比人類便宜20倍,80%任務上佔優勢

ChatGPT標註數據比人類便宜20倍,80%任務上佔優勢

王林
發布: 2023-04-04 14:40:05
轉載
1139 人瀏覽過

簡單來講,資料標註就是為社群媒體上的內容資料貼標籤,以不同主題或概念分類,或是對其立場以及情緒進行判別。這些經過標註的資料就可以用作NLP模型的訓練集或是評估標準。

又一「人類飯碗」被AI搶走,還是和訓練AI息息相關的:

資料標註。

蘇黎世大學研究發現,在ChatGPT面前,無論成本或效率,人類可以說是毫無優勢:

  • 成本上,ChatGPT平均每個標註成本低於0.003美元,比眾包平台便宜20倍;
  • 效率上,在相關性、立場、主題等任務中,ChatGPT也是以4:1的優勢「碾壓」人類。

ChatGPT標註數據比人類便宜20倍,80%任務上佔優勢

論文發出後,有網友調侃,「產生訓練資料需要人工」的說法已經成為過去式了。

ChatGPT標註數據比人類便宜20倍,80%任務上佔優勢

還有人直呼「古籍修復數位化工作是不是有希望提速了」。

ChatGPT標註數據比人類便宜20倍,80%任務上佔優勢

還有人看熱鬧不嫌事大,直接推文:

這是直接端了平台工作者的飯碗。

ChatGPT標註數據比人類便宜20倍,80%任務上佔優勢

話說回來,ChatGPT是怎麼搶了資料標註工作者的「飯碗」的?

ChatGPT在80%任務上佔優勢

首先得先了解下資料標註工作的具體內容。

簡單來講,資料標註就是為社群媒體上的內容資料貼標籤,以不同主題或概念分類,或是對其立場以及情緒進行判別。

這些經過標註的資料就可以用作NLP模型的訓練集或是評估標準。

以往,這類工作都是交由人工處理的,比如說MTurk就是專門進行資料標註的一個眾包平台。

在MTurk這類眾包平台內部,還會有更精細的分工,比如說會有經過專業訓練的資料標註者以及眾包工作者。

前者在產出高品質數據上具有優勢,但自然成本也更高,而後者雖然更便宜但品質也會隨任務難度波動。

於是研究團隊就開始著手研究大語言模型(LLM)在這方面的潛力,並且對比了沒有額外訓練(zero-shot)的ChatGPT(基於GPT-3.5)和MTurk在資料標註上的性能。

這項比較是根據研究團隊先前收集到的2,382則推文樣本。

ChatGPT和MTurk分別將推文以「相關性、立場、主題、政策、實用性」這五種任務進行標註。

評估的標準有兩條:

  • 準確度:ChatGPT和MTurk眾包工作者相較於正確標註的百分比;
  • 編碼者間的一致性信度:以ChatGPT、MTurk眾包工作者以及專業資料標註者任二者之間的一致性來計算;

結果呢也顯而易見,在準確度上,ChatGPT有五分之四的任務都要優於MTurk眾包工作者。

在一致性信度上,ChatGPT全部任務都超過了專業資料標註者。

ChatGPT標註數據比人類便宜20倍,80%任務上佔優勢

成本方面,開頭也已經提過,ChatGPT平均每條都比人工便宜20倍,何況AI還能24*7無休。

ChatGPT標註數據比人類便宜20倍,80%任務上佔優勢

不過對於研究團隊的這個結論並不是所有網友都買賬,有人表示:

這五條任務都太單一了,難度也是。光是這一點就得出這樣的結論可靠性存疑。

ChatGPT標註數據比人類便宜20倍,80%任務上佔優勢

甚至還有網友嘲諷了起研究樣本太少來:

(竟然)只用2382條推文做樣本。

ChatGPT標註數據比人類便宜20倍,80%任務上佔優勢

「飯碗威脅」不只資料標註

現在,AI會不會完全取代某一類工作還不太好說,但它會在某種程度上影響人類工作是毋庸置疑的。

上週,OpenAI就發布過一份分析報告,表示有80%的工作都會在一定程度上受到ChatGPT的影響,19%的職位會受到ChatGPT的嚴重衝擊。

且薪資越高的職業受到的衝擊就越大。

OpenAI也進一步列出了會被影響的具體職業,從大到小依序是:

翻譯從業者、文字創作者(包括詩人、作家等)、公關人員、數學家、稅務編制人員、區塊鏈工程師、財務工作者、媒體從業人員…

ChatGPT標註數據比人類便宜20倍,80%任務上佔優勢

△圖源:OpenAI

除此之外,OpenAI的CEO奧特曼也不止在一個場合下說過「AI會取代現有的部分工作」。

前不久,MidjourneyV5大升等也是讓不少人類畫師直呼飯碗不保。

ChatGPT標註數據比人類便宜20倍,80%任務上佔優勢

emmmmmm,你覺得你的飯碗還保得住嗎?

論文地址:https://arxiv.org/abs/2303.15056.
參考連結:https://twitter.com/arankomatsuzaki/status/1640521970608402435

以上是ChatGPT標註數據比人類便宜20倍,80%任務上佔優勢的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板