Technologie-Peripheriegeräte
KI
GPT4ALL: Die ultimative Open-Source-Lösung für große Sprachmodelle
GPT4ALL: Die ultimative Open-Source-Lösung für große Sprachmodelle
Es gibt ein wachsendes Ökosystem von Open-Source-Sprachmodellen, das Einzelpersonen umfassende Ressourcen zur Erstellung von Sprachanwendungen für Forschungs- und kommerzielle Zwecke bietet.
Dieser Artikel befasst sich eingehend mit GPT4ALL, das über spezifische Anwendungsfälle hinausgeht und umfassende Bausteine bereitstellt, die es jedem ermöglichen, ChatGPT-ähnliche Chatbots zu entwickeln.
Was ist das GPT4ALL-Projekt?
GPT4ALL kann die gesamte Unterstützung bieten, die bei der Verwendung hochmoderner Open-Source-Modelle für große Sprachen erforderlich ist. Es kann auf Open-Source-Modelle und -Datensätze zugreifen, sie mithilfe des bereitgestellten Codes trainieren und ausführen, über eine Webschnittstelle oder Desktop-Anwendung mit ihnen interagieren, eine Verbindung zum Langchain-Backend für verteiltes Computing herstellen und die Python-API für eine einfache Integration verwenden.
Die Entwickler haben kürzlich den Apache-2-lizenzierten GPT4All-J-Chatbot auf den Markt gebracht, der auf einem großen und kuratierten Korpus von Assistenteninteraktionen trainiert ist, darunter Wortfragen, Gespräche mit mehreren Runden, Code, Gedichte, Lieder und Geschichten. Um es zugänglicher zu machen, veröffentlichten sie außerdem Python-Bindungen und eine Chat-Benutzeroberfläche, sodass fast jeder das Modell auf einer CPU ausführen kann.
Sie können es selbst ausprobieren, indem Sie einen lokalen Chat-Client auf Ihrem Desktop installieren.
- Mac/OSX (https://gpt4all.io/installers/gpt4all-installer-darwin.dmg)
- Windows (https://gpt4all.io/installers/gpt4all-installer-win64.exe)
- Ubuntu (https://gpt4all.io/installers/gpt4all-installer-linux.run)
Führen Sie anschließend das GPT4ALL-Programm aus und laden Sie das Modell Ihrer Wahl herunter. Sie können das Modell auch manuell hier herunterladen (https://github.com/nomic-ai/gpt4all-chat#manual-download-of-models) und es an dem Speicherort installieren, der im Modell-Download-Dialogfeld in der GUI angegeben ist.
Die Verwendung von GPT4ALL sorgt für ein besseres Erlebnis auf Laptops und liefert schnelle und genaue Antworten. Auch technisch nicht versierte Personen können GPT4ALL problemlos nutzen, da es sehr benutzerfreundlich ist.
GPT4ALL Python-Client
GPT4ALL verfügt über Python, TypeScript, Web-Chat-Schnittstelle und Langchain-Backend.
In diesem Abschnitt betrachten wir die Python-API für den Zugriff auf Modelle mithilfe von nomic-ai/pygpt4all.
- Verwenden Sie PIP, um die Python GPT4ALL-Bibliothek zu installieren.
<code>pip install pygpt4all</code>
- Laden Sie das GPT4All-Modell von http://gpt4all.io/models/ggml-gpt4all-l13b-snoozy.bin herunter, auch hier verfügbar (https://github.com/nomic-ai/gpt4all-chat# manueller-Download-von-Modellen), um andere Modelle zu durchsuchen.
- Erstellen Sie eine Text-Callback-Funktion, laden Sie das Modell und geben Sie der Funktion mode.generate() einen Hinweis zum Generieren von Text. Weitere Informationen finden Sie in der Dokumentation der Bibliothek (https://nomic-ai.github.io/pygpt4all/).
<code>from pygpt4all.models.gpt4all import GPT4Alldef new_text_callback(text):print(text, end="")model = GPT4All("./models/ggml-gpt4all-l13b-snoozy.bin")model.generate("Once upon a time, ", n_predict=55, new_text_callback=new_text_callback)</code>Darüber hinaus können Konverter zum Herunterladen und Ausführen von Inferenzen verwendet werden. Geben Sie einfach den Modellnamen und die Version an. Die Beispiele in diesem Artikel beziehen sich auf das neueste und verbesserte v1.3-groovy-Modell.
<code>from transformers import AutoModelForCausalLMmodel = AutoModelForCausalLM.from_pretrained("nomic-ai/gpt4all-j", revisinotallow="v1.3-groovy")</code>Erste Schritte
Im nomic-ai/gpt4all-Repository können Sie Quellcode, Modellgewichte, Datensätze und Dokumentation für Training und Inferenz erhalten. Einige Modelle können Sie zunächst ausprobieren und dann über den Python-Client oder LangChain integrieren.
GPT4ALL stellt uns einen CPU-quantifizierten GPT4All-Modellprüfpunkt zur Verfügung. Um darauf zuzugreifen, müssen wir:
- Laden Sie die Datei gpt4all-lora-quantized.bin von Direct Link oder [Torrent-Magnet] herunter.
- Klonen Sie diese Ressourcenbibliothek und verschieben Sie die heruntergeladene Bin-Datei in den Chat-Ordner.
- Führen Sie den entsprechenden Befehl aus, um auf das Modell zuzugreifen:
- M1 Mac/OSX: cd chat;./gpt4all-lora-quantized-OSX-m1
Linux: cd chat;./gpt4all-lora-quantized-linux- x86
- Windows (PowerShell): CD-Chat;./gpt4all-lora-quantized-win64.exe
- Intel Mac/OSX: CD-Chat;./gpt4all-lora-quantized-OSX-intel
Sie können auch zu Hugging Face Spaces gehen und die Demo von Gpt4all ausprobieren.
Bilder von Gpt4all
资源：
- 技术报告：GPT4All-J: Ein Apache-2-lizenzierter Chatbot im Assistentenstil（https://static.nomic.ai/gpt4all/2023_GPT4All-J_Technical_Report_2.pdf）
- GitHub：nomic-ai/gpt4all （https://github.com/nomic-ai/gpt4all）
- Python-API：nomic-ai/pygpt4all（https://github.com/nomic-ai/pygpt4all）
- 模型：nomic-ai/gpt4all- j（https://huggingface.co/nomic-ai/gpt4all-j）
- 数据集：nomic-ai/gpt4all-j-prompt-generations（https://huggingface.co/datasets/nomic-ai/gpt4all -j-prompt-generations）
- Hugging Face演示：Gpt4all（https://huggingface.co/spaces/Monster/GPT4ALL）
- ChatUI：nomic-ai/gpt4all-chat: gpt4all-j chat（https:// github.com/nomic-ai/gpt4all-chat）
- GPT4ALL后端：GPT4ALL - ????LangChain 0.0.154（https://python.langchain.com/en/latest/modules/models/llms/integrations /gpt4all.html）
Das obige ist der detaillierte Inhalt vonGPT4ALL: Die ultimative Open-Source-Lösung für große Sprachmodelle. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Heiße KI -Werkzeuge
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Undress AI Tool
Ausziehbilder kostenlos
Clothoff.io
KI-Kleiderentferner
Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!
Heißer Artikel
Heiße Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Heiße Themen
Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo
May 07, 2024 pm 04:13 PM
Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt
KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao
Apr 09, 2024 am 11:52 AM
KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.
Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden
Apr 01, 2024 pm 07:46 PM
Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus
Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend
KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert
Jun 01, 2024 pm 10:03 PM
Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN
FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera
Apr 26, 2024 am 11:37 AM
Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren
Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen!
May 06, 2024 pm 04:13 PM
Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil
Das Neueste von der Universität Oxford! Mickey: 2D-Bildabgleich in 3D SOTA! (CVPR\'24)
Apr 23, 2024 pm 01:20 PM
Projektlink vorne geschrieben: https://nianticlabs.github.io/mickey/ Anhand zweier Bilder kann die Kameraposition zwischen ihnen geschätzt werden, indem die Korrespondenz zwischen den Bildern hergestellt wird. Normalerweise handelt es sich bei diesen Entsprechungen um 2D-zu-2D-Entsprechungen, und unsere geschätzten Posen sind maßstabsunabhängig. Einige Anwendungen, wie z. B. Instant Augmented Reality jederzeit und überall, erfordern eine Posenschätzung von Skalenmetriken und sind daher auf externe Tiefenschätzer angewiesen, um die Skalierung wiederherzustellen. In diesem Artikel wird MicKey vorgeschlagen, ein Keypoint-Matching-Prozess, mit dem metrische Korrespondenzen im 3D-Kameraraum vorhergesagt werden können. Durch das Erlernen des 3D-Koordinatenabgleichs zwischen Bildern können wir auf metrische Relativwerte schließen
