早在2月份,NVIDIA就推出了基於LLM的聊天機器人ChatwithRTX。而在5月的時候,這個聊天機器人更新了,增加了新的模型和新的功能,包裝包也從35G縮小為11G,並且軟體正式改名為了ChatRTX。
在上一篇關於 Chatwith RTX 的文章和影片中,我們提到 ChatwithRTX 並沒有自帶的中文答案。想要實現中文回答,就需要動手進行自行安裝環境、大語言模型等。但這一步對使用者來說有著比較高的門檻,得經過許多繁雜得步驟,才能實現中文問答。
在介紹前,我們先簡單說下ChatRTX 是什麼,ChatRTX 使用RAG 技術,經由NVIDIATensorRT-LLM 和NVIDIARTX 加速,為RTXWindowsPC 和工作站帶來聊天機器人功能。所以使用 ChatRTX 的前提條件是,你得擁有一張 RTX30、RTX40 系列顯示卡,並且達到 8GB 記憶體以上。
ChatRTX 的特色主要是運行於本地,與上傳至雲端的各家AI 聊天機器人不同,本地運算在資料保存方面更加的安全,並且得益於NVIDIATensorRT-LLM 的加持,在處理上也更為迅速,避免輸入問題結果加載半天才憋出一句答案的情況出現。
此次ChatRTX 的更新除了具有原先的Gemma 模型外,還拓展了一款支援中英雙語的ChatGLM3 模型,所以在使用上要更為方便,不必像上一版一樣進行環境等安裝,這次更新後也讓更多用戶易上手,中文對話也是對答如流,在導入文檔後,能在文件夾內快速檢索你所需的內容資料,並呈現給用戶。
除了新的大語言模型外,這次ChatRTX 還加入了圖像提示詞檢索的功能,在導入一個包含圖片的資料夾後,ChatRTX 可以透過OpenAICLIP將圖片的關鍵字提取出來,這樣你輸入圖片的關鍵字,比如爬山,那麼ChatRTX 會將文件夾裡關於爬山的圖片提供給你,可以說是極大方便了本地圖片的搜索,哪怕忘記了也可透過關鍵字檢索搜到。
另外,ChatRTX 也加入了語音辨識功能,能辨識30s 內的語音並輸入到對話框,其中也包括辨識中英文,無論是工作中解放雙手,還是後續拓展功能,語音辨識都是有利於使用者的,不過上一版的問題還是存在的,就是ChatRTX 並不能聯繫上下文,也就是每問一個問題,他就會清空記憶,每次提問都只能是" 一次性" 問題。
不過相信ChatRTX 在後續也會持續更新,成為一個回饋快速的在地化聊天、文件檢索的機器人,但這一切的前提,是你得擁有一張NVIDIARTX 30 系列顯示卡,正所謂買新不買舊,影馳RTX4070 SUPER 金屬大師OC 這張新出不久的RTX40 SUPER 系顯卡,就是你的最佳選擇。
影馳RTX4070 SUPER 金屬大師OC 採用了NVIDIAAda Lovelace 架構,擁有強大的性能,並且12GB 的顯存容量,能輕鬆滿足LLM 的硬體需求,無論是遊戲還是AI 方面,影馳RTX4070 SUPER 金屬大師OC 都能勝任,所以喜歡的朋友,歡迎前往影馳官方商城挑選與購買~
以上是支援中文對話了!全新 NVIDIA ChatRTX 已更新的詳細內容。更多資訊請關注PHP中文網其他相關文章!