Nvidia hat Chat with RXT gestartet, einen KI-Chatbot, der auf Ihrem PC läuft und ähnliche Funktionen wie ChatGPT und mehr bietet! Sie benötigen lediglich eine Nvidia RTX-GPU und schon können Sie mit der Nutzung des neuen KI-Chatbots von Nvidia beginnen.
Nvidia Chat with RTX ist eine KI-Software, mit der Sie ein großes Sprachmodell (LLM) lokal auf Ihrem Computer ausführen können. Anstatt also online zu gehen, um einen KI-Chatbot wie ChatGPT zu nutzen, können Sie Chat mit RTX jederzeit offline nutzen.
Chat mit RTX nutzt TensorRT-LLM, RTX-Beschleunigung und ein quantisiertes Mistral 7-B LLM, um eine schnelle Leistung und qualitativ hochwertige Antworten zu bieten, die denen anderer Online-KI-Chatbots ebenbürtig sind. Es bietet außerdem Retrieval-Augmented Generation (RAG), sodass der Chatbot Ihre Dateien durchlesen und auf der Grundlage der von Ihnen bereitgestellten Daten individuelle Antworten ermöglichen kann. Dadurch können Sie den Chatbot anpassen, um ein persönlicheres Erlebnis zu bieten.
Wenn Sie Nvidia Chat mit RTX ausprobieren möchten, erfahren Sie hier, wie Sie es herunterladen, installieren und auf Ihrem Computer konfigurieren.
Nvidia hat die lokale Ausführung eines LLM auf Ihrem Computer erheblich vereinfacht. Um Chat mit RTX auszuführen, müssen Sie nur die App herunterladen und installieren, genau wie bei jeder anderen Software. Allerdings gelten für Chat with RTX einige Mindestspezifikationsanforderungen für die ordnungsgemäße Installation und Verwendung.
RTX 30-Serie oder 40-Serie GPU 16 GB RAM 100 GB freier Speicherplatz Windows 11Wenn Ihr PC die Mindestsystemanforderungen erfüllt, können Sie mit der Installation der App fortfahren.
Schritt 1: Laden Sie die ZIP-Datei „Chat with RTX“ herunter.Download: Chat with RTX (Kostenlos – 35 GB Download)Schritt 2: Extrahieren Sie die ZIP-Datei, indem Sie mit der rechten Maustaste klicken und ein Dateiarchivierungstool wie 7Zip auswählen oder auf die Datei doppelklicken und wählen Sie „Alle extrahieren“. Schritt 3: Öffnen Sie den extrahierten Ordner und doppelklicken Sie auf setup.exe. Befolgen Sie die Anweisungen auf dem Bildschirm und aktivieren Sie alle Kontrollkästchen während des benutzerdefinierten Installationsvorgangs. Nachdem Sie auf „Weiter“ geklickt haben, lädt das Installationsprogramm das LLM und alle Abhängigkeiten herunter und installiert es.
Die Installation von „Chat with RTX“ wird einige Zeit in Anspruch nehmen, da eine große Datenmenge heruntergeladen und installiert wird. Klicken Sie nach dem Installationsvorgang auf „Schließen“, und schon sind Sie fertig. Jetzt ist es an der Zeit, die App auszuprobieren.
Obwohl Sie Chat mit RTX wie einen normalen Online-KI-Chatbot verwenden können, empfehle ich Ihnen dringend, die RAG-Funktionalität zu überprüfen, mit der Sie die Ausgabe basierend auf den Dateien, auf die Sie Zugriff gewähren, anpassen können.
Um RAG im Chat mit RTX zu verwenden, erstellen Sie einen neuen Ordner zum Speichern der Dateien, die die KI analysieren soll.
Platzieren Sie nach der Erstellung Ihre Datendateien im Ordner. Die von Ihnen gespeicherten Daten können viele Themen und Dateitypen abdecken, z. B. Dokumente, PDFs, Texte und Videos. Möglicherweise möchten Sie jedoch die Anzahl der Dateien, die Sie in diesem Ordner ablegen, begrenzen, um die Leistung nicht zu beeinträchtigen. Wenn mehr Daten durchsucht werden müssen, dauert es beim Chat mit RTX länger, bis Antworten auf bestimmte Anfragen zurückgegeben werden (dies ist jedoch auch hardwareabhängig).
Jetzt ist Ihre Datenbank fertig, Sie können Chat mit RTX einrichten und damit beginnen, Ihre Fragen und Anfragen zu beantworten.
Chat mit RTX öffnen. Es sollte wie im Bild unten aussehen.
Stellen Sie unter Datensatz sicher, dass die Option Ordnerpfad ausgewählt ist. Klicken Sie nun auf das Bearbeitungssymbol unten (das Stiftsymbol) und wählen Sie den Ordner aus, der alle Dateien enthält, die Chat with RTX lesen soll. Sie können das KI-Modell auch ändern, wenn andere Optionen verfügbar sind (zum Zeitpunkt des Verfassens dieses Artikels ist nur Mistral 7B verfügbar).
Sie sind jetzt bereit, Chat mit RTX zu verwenden.
Es gibt mehrere Möglichkeiten, Chat mit RTX abzufragen. Die erste besteht darin, ihn wie einen normalen KI-Chatbot zu verwenden. Ich fragte Chat with RTX nach den Vorteilen der Verwendung eines lokalen LLM und war mit der Antwort zufrieden. Es war nicht besonders ausführlich, aber genau genug.
Da Chat with RTX aber RAG-fähig ist, können Sie es auch als persönlichen KI-Assistenten verwenden.
Oben habe ich Chat mit RTX verwendet, um nach meinem Zeitplan zu fragen. Die Daten stammen aus einer PDF-Datei, die meinen Zeitplan, meinen Kalender, meine Ereignisse, meine Arbeit usw. enthält. In diesem Fall hat Chat with RTX die richtigen Kalenderdaten aus den Daten gezogen; Sie müssen Ihre Datendateien und Kalenderdaten auf dem neuesten Stand halten, damit solche Funktionen ordnungsgemäß funktionieren, bis es Integrationen mit anderen Apps gibt.
Es gibt viele Möglichkeiten, wie Sie Chat with RTX's RAG zu Ihrem Vorteil nutzen können. Sie können damit beispielsweise juristische Dokumente durchlesen und eine Zusammenfassung abgeben, Code generieren, der für das Programm, das Sie entwickeln, relevant ist, Highlights mit Aufzählungszeichen zu einem Video erhalten, für das Sie zu beschäftigt sind, um es anzusehen, und vieles mehr!
Zusätzlich zu Ihrem lokalen Datenordner können Sie Chat with RTX verwenden, um YouTube-Videos zu analysieren. Ändern Sie dazu unter Datensatz den Ordnerpfad in die YouTube-URL.
Kopieren Sie die YouTube-URL, die Sie analysieren möchten, und fügen Sie sie unterhalb des Dropdown-Menüs ein. Dann fragen Sie nach!
Die YouTube-Videoanalyse von Chat with RTX war ziemlich gut und lieferte genaue Informationen, sodass sie für Recherchen, schnelle Analysen und mehr nützlich sein könnte.
ChatGPT bietet RAG-Funktionalität. Einige lokale KI-Chatbots haben deutlich geringere Systemanforderungen. Lohnt sich der Einsatz von Nvidia Chat mit RTX also überhaupt?
Die Antwort ist ja! Der Chat mit RTX lohnt sich trotz der Konkurrenz.
Eines der größten Verkaufsargumente für die Verwendung von Nvidia Chat mit RTX ist die Möglichkeit, RAG zu verwenden, ohne Ihre Dateien an einen Server eines Drittanbieters zu senden. Durch die Anpassung von GPTs über Onlinedienste können Ihre Daten offengelegt werden. Da Chat with RTX jedoch lokal und ohne Internetverbindung ausgeführt wird, stellt die Verwendung von RAG im Chat with RTX sicher, dass Ihre sensiblen Daten sicher und nur auf Ihrem PC zugänglich sind.
Wie bei anderen lokal ausgeführten KI-Chatbots mit Mistral 7B ist die Leistung von Chat mit RTX besser und schneller. Obwohl ein großer Teil der Leistungssteigerung auf die Verwendung von High-End-GPUs zurückzuführen ist, ermöglichte die Verwendung von Nvidia TensorRT-LLM und der RTX-Beschleunigung die Ausführung von Mistral 7B im Chat mit RTX im Vergleich zu anderen Methoden zur Ausführung eines Chat-optimierten LLM schneller.
Es ist erwähnenswert, dass es sich bei der Chat with RTX-Version, die wir derzeit verwenden, um eine Demo handelt. Spätere Versionen von Chat with RTX werden wahrscheinlich optimierter sein und Leistungssteigerungen liefern.
Chat mit RTX ist eine einfache, schnelle und sichere Möglichkeit, ein LLM lokal auszuführen, ohne dass eine Internetverbindung erforderlich ist. Wenn Sie auch daran interessiert sind, ein LLM oder lokal auszuführen, aber keine GPU der RTX 30- oder 40-Serie haben, können Sie andere Möglichkeiten ausprobieren, ein LLM lokal auszuführen. Zwei der beliebtesten wären GPT4ALL und Text Gen WebUI. Probieren Sie GPT4ALL aus, wenn Sie ein Plug-and-Play-Erlebnis beim lokalen Ausführen eines LLM wünschen. Wenn Sie jedoch etwas technisch versierter sind, bietet die Ausführung von LLMs über die WebUI von Text Gen eine bessere Feinabstimmung und Flexibilität.
Das obige ist der detaillierte Inhalt vonSo verwenden Sie Nvidias Chat mit RTX AI Chatbot auf Ihrem Computer. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
