首頁 > 科技週邊 > 人工智慧 > ChatGPT用於生產級對話式AI系統的那些缺點

ChatGPT用於生產級對話式AI系統的那些缺點

PHPz
發布: 2023-04-12 19:16:01
轉載
1637 人瀏覽過

譯者| 布加迪

審校| 孫淑娟

#ChatGP憑藉其詳細和酷似人類的書面回應引起了全世界的關注,引發了關於人們應該如何與這種人工智慧(AI)進行互動的熱烈討論。從許多方面來看,ChatGPT都是前身GPT-3.5的升級版,不過它仍然容易胡編亂造。專家表示,對於生產級應用而言,AI開發人員可能會考慮將ChatGPT與其他工具結合使用,以獲得完整的解決方案。

ChatGPT用於生產級對話式AI系統的那些缺點

ChatGPT和GPT-3.5由OpenAI開發,並在微軟Azure上加以訓練,兩者都是基於大型語言模型的對話式AI系統,但存在重大的區別。

首先,生成式預訓練Transformer(GPT)3.5比ChatGPT早問世,其神經網路擁有比ChatGPT更多的層。 GPT-3.5是作為一種通用語言模型開發而成的,它可以處理很多任務,包括翻譯語言、總結文本和回答問題。 OpenAI為GPT-3.5提供了一套API接口,這為開發人員提供了一種更有效的方式來存取其功能。

ChatGPT則是基於GPT-3.5,是專門作為聊天機器人(「對話式代理」是業界偏好採用的術語)而開發的。一個限制因素是,ChatGPT只有文字介面,卻沒有API。 ChatGPT是在龐大對話文本集上加以訓練的,與GPT-3.5及其他生成式模型相比,它能更好地進行對話。產生回應的速度比GPT-3.5更快,而且其回應來得更準確。

然而,這兩個模型都往往胡編亂造,或者用業內人士所說就是「產生幻覺」。 ChatGPT的幻覺率在15%到21%之間。同時,GPT-3.5的幻覺率從20%左右上升到41%,因此ChatGPT在這方面有所改善。

矽谷公司Moveworks在其AI對話式平台上使用語言模型及其他機器學習技術,其平台被眾多行業的公司所使用。這家公司的創辦人兼機器學習副總裁Jiang Chen表示,儘管往往胡編亂造(這是所有語言模型存在的通病),但ChatGPT比之前的AI模型有了重大改進。

Chen說:「ChatGPT確實給人留下了深刻的印象,給了人們驚喜。」Chen之前是Google的工程師,專門開發這個科技巨頭的同名搜尋引擎。 「其推理能力可能會讓許多機器學習從業人員感到驚訝。」

Moveworks使用各種語言模型及其他技術為客戶建立客製化的AI系統。它一直是BERT的大用戶,BERT是幾年前由Google開源的語言模型。該公司使用GPT-3.5,並且已經開始使用ChatGPT。

不過據Chen表示,說到建構生產級對話式AI系統,ChatGPT有其限制。在使用這類技術建立自訂對話式AI系統時,有各種因素需要權衡;重要的是要知道界線在哪裡,以便建立一個不會提供錯誤答案、沒有過度偏見、不會讓人們等待太久的系統。

Chen表示,ChatGPT在產生有意義的回應以解答問題方面比BERT更勝一籌。具體來說,ChatGPT比BERT有更強大的「推理」能力,BERT被設計用來預測句子中的下一個單字。

雖然ChatGPT和GPT-3.5可以提供令人信服的回應以回答問題,但它們封閉的端到端特性阻止了像Chen這樣的工程師對它們進行訓練。這也為為特定行業回答自訂的語料庫帶來了障礙(零售商和製造商使用的詞語與律師事務所和政府使用的詞語不同)。他表示,這種封閉性也增加了減少偏見的難度。

BERT夠小,可以由Moveworks這樣的公司來託管。該公司建構了一條數據管道,用於收集某家公司所特定的數據,並將數據傳送到BERT模型中進行訓練。這項工作讓Moveworks得以對最終的對話式AI產品施加更大的控制度,這在GPT-3.5和ChatGPT之類的封閉系統中是不可能實現的。

Chen說:「我們的機器學習堆疊是分層的。我們使用BERT,但我們也使用其他機器學習演算法,這使我們得以將客戶特有的邏輯和客戶特有的資料融入其中。 」

Chen表示,雖然OpenAI模型要大得多,並在大得多的語料庫上加以訓練,但沒有辦法知道它們是否適合某個特定客戶。

他說:「(ChatGPT)模型經過預先訓練,可以對饋入給它的所有知識進行編碼。它本身並不是為了執行任何特定任務而設計的。它之所以能夠加速並實現快速成長,是由於這種架構本身實際上很簡單。它是一層層相同的東西,所以可以說它融合在一起。由於這種架構,你知道它具有學習能力,但你不知道它在哪裡編碼什麼訊息。你不知道哪幾層神經元編碼了你想要推斷的特定訊息,所以它更像是一個黑盒子。」

Chen認為,ChatGPT可能正大行其道,但它作為對話式AI的生產級工具所具有的用途可能有點被誇大了。一種更好的方法是利用多個模型的優勢,而不是完全致力於一個特定的模型,從而更好地與客戶的性能、準確性、偏見預期以及技術的底層功能保持一致。

他說:「我們的策略是在不同的地方使用一系列不同的模型。你可以用大模型來教小模型,然後小模型就會快得多。比如說,如果你想進行分段搜索,就應該使用…某種BERT模型,然後將其作為某種向量搜索引擎來運行。ChatGPT就此而言太龐大了。」

雖然眼下ChatGPT在現實應用環境中的用處可能比較有限,但這並不代表它不重要。 Chen表示,ChatGPT可能產生的持久影響之一是吸引從業人員的注意力,並激勵人們在對話式AI技術在未來可能實現的功效方面突破極限。

他說:「我確實認為它開闢了一個領域。展望未來,當我們打開黑盒子,我認為會出現更多有趣的方式和應用。這是我們感到興奮的地方,我們正致力於這個領域的研發。」

原文標題:#The Drawbacks of ChatGPT for Production Conversational AI Systems#,作者:Alex Woodie

以上是ChatGPT用於生產級對話式AI系統的那些缺點的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新問題
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板