Seit der ersten Veröffentlichung von ChatGPT sind fast vier Monate vergangen. In dieser Zeit ließ die erstaunliche Leistung von ChatGPT die Leute fragen, ob AIGC im Voraus realisiert werden würde.
Ein bekanntes Geheimnis ist jedoch, dass ChatGPT wahrscheinlich kein Open Source ist. In Verbindung mit der enormen Investition in Rechenleistung und riesigen Trainingsdaten hat es der Forschungsgemeinschaft viele Hürden gesetzt, seinen Implementierungsprozess zu kopieren.
Angesichts des Ansturms von ChatGPT sind Open-Source-Alternativen eine gute Wahl. Sie bieten zwar ähnliche Funktionen, können Ihnen aber auch ermöglichen, den Funktionsmechanismus von ChatGPT durch Alternativen zu verstehen.
Mit der Weiterentwicklung der Technologie sind mittlerweile viele andere neue KI-Modelle entstanden, die ChatGPT ähneln. In diesem Artikel werden wir eine Bestandsaufnahme der Open-Source-Ersatzprojekte von ChatGPT machen. Der Inhalt wird in zwei Teile unterteilt: Der eine ist eine Zusammenfassung von ChatGPT-ähnlichen Open-Source-Projekten und der andere eine Ergänzung zur Projektzusammenfassung.
Der Projektautor nichtdax hat 9 Open-Source-ChatGPT-Ersatzprojekte zusammengestellt. Sie werden im Folgenden einzeln vorgestellt.
Projektadresse: https://github.com/nichtdax/awesome-totally-open-chatgpt
PaLM-rlhf-pytorch.
th Ein Projekt ist „PaLM-rlhf-pytorch“, und der Projektautor ist Phil Wang. Bei diesem Projekt handelt es sich um eine Implementierung von RLHF (Reinforcement Learning with Human Feedback) auf der PaLM-Architektur, bei der es sich im Wesentlichen um ChatGPT unter Verwendung von PaLM handelt.
Dieses Projekt hat 5,8.000 Sterne auf GitHub erhalten.
Projektadresse: https://github.com/lucidrains/PaLM-rlhf-pytorch
Das Bild unten zeigt den Trainingsprozess.
Das zweite Projekt ist „OpenChatKit“, das eine leistungsstarke Open-Source-Grundlage für die Erstellung spezialisierter und allgemeiner Chatbots für verschiedene Anwendungen bietet. Das Kit umfasst ein anweisungsoptimiertes Sprachmodell mit 20 Milliarden Parametern, ein Optimierungsmodell mit 6 Milliarden Parametern und ein skalierbares Abrufsystem, das die neuesten Antworten aus einem benutzerdefinierten Repository abdeckt.
OpenChatKit wird auf dem OIG-43M-Trainingsdatensatz trainiert, der eine Vereinigung von Together, LAION und Ontocord.ai ist. Der Projektautor gab an, dass dies nicht nur die Veröffentlichung eines Modells, sondern auch der Beginn eines Open-Source-Projekts sei. Sie veröffentlichen eine Reihe von Tools und Prozessen und verbessern diese kontinuierlich durch Community-Beiträge.
Dieses Projekt hat 5,7.000 Sterne auf GitHub erhalten.
Projektadresse: https://github.com/togethercomputer/OpenChatKit
Das dritte Projekt ist „text-generation-webui“, das es ist eine Web-Benutzeroberfläche mit Farbverlauf zum Ausführen großer Sprachmodelle wie GPT-J 6B, OPT, GALACTICA, LLaMA und Pygmalion. Dieses Projekt soll das AUTOMATIC1111/stable-diffusion-webui der Textgenerierung sein.
Zu den Funktionen gehören die Verwendung von Dropdown-Menüs zum Wechseln zwischen verschiedenen Modellen, die Bereitstellung eines Notebook-Modus ähnlich dem OpenAI-Spielplatz, ein Chat-Modus für Gespräche und Rollenspiele, die Generierung einer schönen HTML-Ausgabe für GPT-4chan und mehr.
Das Projekt hat 3,4.000 auf GitHub erhalten.
Projektadresse: https://github.com/oobabooga/text-generation-webui
Das vierte Projekt ist „KoboldAI-Client“, das It ist ein browserbasiertes Frontend, das KI-gestütztes Schreiben durch mehrere lokale und Remote-KI-Modelle implementiert.
KoboldAI-Client bietet einen Standardsatz an Tools, darunter Speicher, Autorennotizen, Weltinformationen, Speichern und Laden, anpassbare AI-Einstellungen, Formatierungsoptionen und die Möglichkeit, vorhandene Text-Adventure-Spiele AI Dungeon zu importieren. Sie können den Abenteuermodus aktivieren oder Spiele wie AI Dungeon Unleashed spielen.
Dieses Projekt hat 1,4.000 auf GitHub erhalten.
Projektadresse: https://github.com/KoboldAI/KoboldAI-Client
Das fünfte Projekt ist „Open-Assistant“, dessen Ziel es ist, Make große chatbasierte Sprachmodelle, die für jedermann zugänglich sind. Die Autoren des Projekts hoffen, eine Revolution in der Sprachinnovation auszulösen, ebenso wie eine stabile Verbreitung der Welt dabei hilft, Kunst und Bilder auf neue Weise zu schaffen.
Der Projektautor plant, qualitativ hochwertige, manuell generierte Beispiele für die Ausführung von Anweisungen (Anweisungen + Antworten) zu sammeln, mit einem Ziel von mehr als 50.000. Für jede erfasste Meldung werden mehrere Abschlussergebnisse abgetastet. Als nächstes treten Sie in die RLHF-Trainingsphase ein, die auf dem Anweisungs- und Belohnungsmodell basiert.
Dieses Projekt hat 19.000 Sterne auf GitHub erhalten.
Projektadresse: https://github.com/LAION-AI/Open-Assistant
Das sechste Projekt ist „stanford_alpaca“, dessen Ziel es ist, zu bauen und zu teilen ein LLaMA-Modell, dem Anweisungen folgen. Dieses Repo enthält 52.000 Daten zur Feinabstimmung des Modells, Code zur Generierung der Daten und Code zur Feinabstimmung des Modells.
Dieses Projekt hat 9,5.000 Sterne auf GitHub erhalten.
Projektadresse: https://github.com/tatsu-lab/stanford_alpaca
Das siebte Projekt ist „ChatRWKV“, das ChatGPT ähnelt, es aber ist Das Modell powered by RWKV (100 % RNN) wird unterstützt und ist Open Source. Nach Angaben der Projektautoren ist RWKV derzeit das einzige RNN-Modell, das hinsichtlich Qualität und Skalierbarkeit mit Transformatoren mithalten kann, gleichzeitig schneller ist und VRAM spart.
Dieses Projekt hat 3,5.000 Sterne auf GitHub erhalten.
Projektadresse: https://github.com/BlinkDL/ChatRWKV
Das achte Projekt ist das Open-Source-Modell „ChatGLM-6B“ für zweisprachige Konversationen zwischen Chinesisch und Englisch, das auf der Architektur des General Language Model (GLM) basiert 6,2 Milliarden Parameter. In Kombination mit der Modellquantisierungstechnologie können Benutzer es lokal auf Grafikkarten der Verbraucherklasse bereitstellen (auf der INT4-Quantisierungsebene sind mindestens 6 GB Videospeicher erforderlich).
ChatGLM-6B verwendet eine ähnliche Technologie wie ChatGPT und ist für chinesische Fragen und Antworten sowie Dialoge optimiert. Nach zweisprachigem Training in Chinesisch und Englisch mit etwa 1T-Identifikatoren, ergänzt durch überwachte Feinabstimmung, Feedback-Selbstbedienung, Lernen zur Verstärkung menschlicher Rückmeldungen und anderen Technologien, konnte der 6,2 Milliarden Parameter umfassende ChatGLM-6B Antworten generieren, die ziemlich konsistent sind menschliche Vorlieben.
Aufgrund des geringen Umfangs von ChatGLM-6B ist jedoch derzeit bekannt, dass es einige Einschränkungen aufweist, wie z. B. sachliche/mathematische Logikfehler, mögliche Erzeugung schädlicher/voreingenommener Inhalte, schwache kontextbezogene Fähigkeiten und Selbst- Verwirrung und die Erzeugung englischer Anweisungen, die den chinesischen Anweisungen völlig widersprechen.
Dieses Projekt hat 6.000 Sterne auf GitHub erhalten.
Projektadresse: https://github.com/THUDM/ChatGLM-6B
Das neunte Projekt ist „xmtf“, das das Erstellungspapier „Crosslingual Generalization“ enthält „Alle Komponenten von BLOOMZ, mT0 und xP3 eingeführt in „durch Multitask Finetuning“.
Unter anderem ist BLOOMZ ein mehrsprachiges Modell mit 176 Milliarden Parametern; mT0 (bezieht sich hier speziell auf Googles T5X); xP3 ist ein überwachter Datensatz in 46 Sprachen mit Eingabeaufforderungen in Englisch und maschineller Übersetzung.
Projektadresse: https://github.com/bigscience-workshop/xmtf
Zusätzlich zu den oben genannten Modellen umfasst das ChatGPT-Ersatzprojekt auch große Modelle, die auf Meta basieren Open Source Einige Studien zur LLaMA-Reihe (Large Language Model Meta AI). Die Anzahl der Parameter in dieser Modellreihe reicht von 7 Milliarden bis 65 Milliarden. Das LLaMA-Modell mit 13 Milliarden Parametern kann GPT-3 (175 Milliarden Parameter) „bei den meisten Benchmarks“ übertreffen und auf einer einzigen V100-GPU laufen, während das größte LLaMA-Modell mit 65 Milliarden Parametern mit Google Chinchilla-70B und PaLM vergleichbar ist; 540B.
Basierend auf dieser Forschung haben Entwickler auch mehrere Open-Source-Projekte vorgeschlagen.
Das Projekt llama.cpp hat LLaMA auf dem MacBook implementiert, und Entwickler haben LLaMA 7B erfolgreich auf Raspberry Pi mit 4 GB RAM ausgeführt. Zusammenfassend lässt sich sagen, dass Entwickler LLaMA-Modelle auch dann ausführen können, wenn sie keine GPU haben.
Projektadresse: https://github.com/ggerganov/llama.cpp
ChatLLaMA
Da die LLaMA-Großmodellreihe nicht die RLHF-Methode verwendet, hat das Startup Nebuly AI die Trainingsmethode der RLHF-Version von LLaMA (ChatLLaMA) als Open Source bereitgestellt. Der Trainingsprozess ähnelt ChatGPT und das Projekt ermöglicht den Aufbau von Diensten im ChatGPT-Stil auf der Grundlage vorab trainierter LLaMA-Modelle. Im Vergleich zu ChatGPT verfügt LLaMA über eine kleinere Architektur, aber der Trainingsprozess und die Einzel-GPU-Inferenz sind schneller und kostengünstiger. Die Bibliothek unterstützt auch alle LLaMA-Modellarchitekturen (7B, 13B, 33B, 65B), sodass Benutzer Leistungspräferenzen ableiten können Feinabstimmung des Modells.
Projektadresse: https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama
Ich freue mich auf die Teilnahme weiterer Open-Source-Projekte die Zukunft.
Das obige ist der detaillierte Inhalt vonSind Sie immer noch besorgt, dass Sie ChatGPT nicht spielen können? Auch mit diesen Dutzend Open-Source-Alternativen können Sie einen intelligenten Dialog erleben. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
ChatGPT-Registrierung
Inländische kostenlose ChatGPT-Enzyklopädie
So installieren Sie ChatGPT auf einem Mobiltelefon
Kann Chatgpt in China verwendet werden?
jquery implementiert die Paging-Methode
Der Unterschied zwischen Java und Java
Was ist eine relationale Datenbank?
Was tun, wenn im Skript der aktuellen Seite ein Fehler auftritt?
