Die verrückten Open-Source-Pläne der vier Post-00er-Jahre: Das gesamte Internet wird in einen großen Modellkorpus umgewandelt, und die Kosten für die Einbettung von 100 Millionen Token betragen nur 1 US-Dollar

Alle in Token umgewandelten Papiere auf Arxiv ergeben zusammen nur 14,1 GB.

Dies ist eine Leistung, die dem neuesten heißen Open-Source-Projekt Alexander gelungen ist.

Tatsächlich ist dies nur der erste Schritt.

Sie wollen letztendlich das gesamte Internet in Tokens umwandeln, mit anderen Worten, alles so umwandeln, wie große Modelle wie ChatGPT die Welt verstehen.

Wäre ein solcher Datensatz, wenn er einmal geboren ist, nicht ein neues leistungsstarkes Werkzeug für die Entwicklung großer Modelle wie GPT-4 und würde es möglich sein, Astronomie von oben und Geographie von unten zu verstehen? !

Sobald die Nachricht bekannt wurde, erregte sie sofort große Aufmerksamkeit.

Die Internetnutzer lobten es: Episch.

Die Initiative dahinter besteht nur aus vier Teenagern mit einem Durchschnittsalter von 20 Jahren. Derzeit sind alle Arxiv-Papierdatensätze veröffentlicht und sie werden die Embedding-Suchplattform veröffentlichen nächste Woche.

Beginnen Sie mit allen Artikeln zu Arxiv

Mehr als 4 Millionen Projekte, 600 Millionen Token und 3,07 Milliarden Vektordimensionen.

Dieses Open-Source-Projekt namens Alexander beginnt mit jedem Arxiv-Artikel.

Die gewählte Methode ist die Einbettung, sie verkörpert verschiedene Objekte in der realen Welt in Vektoren, die der Computer verstehen kann.

Das klassischste Beispiel ist die Darstellung des Originalbilds als Graustufenpixel.

Das größte Merkmal dieser Technologie ist, dass sie die vom Menschen wahrgenommene semantische Ähnlichkeit ausdrücken kann.

Zum Beispiel ist es schwierig, Artikel anhand von Schlüsselwörtern zu finden, wenn es 10 Wörter gibt, die dasselbe bedeuten. Die Einbettung ist jedoch möglich und eignet sich daher für Suche, Clustering, Empfehlung und Klassifizierung.

Aus Gründen der Praktikabilität und Effizienz entschied sich das Entwicklungsteam nur für die Einbettung des Titels und der Zusammenfassung des Papiers.

Nach dem Testen verschiedener Modelle haben wir uns schließlich für das Texteinbettungsmodell InstructorXL entschieden, das für eine Vielzahl von Aufgaben (wie Klassifizierung, Abruf, Clustering, Textauswertung usw.) geeignet ist, indem es einfach Aufgabenanweisungen ohne Bußgeld bereitstellt -Tuning und Feld (wie Wissenschaft, Finanzen, Medizin usw.) 》

Nächste Woche werden sie die Arxiv-Suche veröffentlichen. Der bisherige Prozess besteht darin, zunächst eine Ähnlichkeitssuche für die 100 nächstgelegenen Artikel durchzuführen, dann deren Einbettungen spontan zu berechnen und eine zweite, komplexere Suche durchzuführen.

Das ultimative Ziel ist ein vollständig in das Internet eingebetteter Plan.

Der verrückte Open-Source-Plan eines 20-jährigen Jungen

Es gibt zwei Hauptgründe für die Einführung eines solch verrückten Open-Source-Plans.

Einerseits bietet es einen enormen Mehrwert. Bei vielen Problemen auf der Welt handelt es sich lediglich um Suche, Clustering, Empfehlung oder Klassifizierung, und das sind Dinge, in denen Einbettungen sehr gut sind. Und wie bereits erwähnt, können einige komplexe Rätsel gelöst werden.

Andererseits sind die Kosten einmalig und sehr günstig. In den meisten Fällen ist es nicht erforderlich, eine zweite Berechnung für dieselbe Datei durchzuführen. Derzeit kostet es nur 1 USD pro 100 Millionen Token.

Aber sie fanden keine offenen eingebetteten Datensätze, also entstanden Organisationen wie diese.

Sie werden in Zukunft auch weitere Datensätze öffnen, und diese werden von diesen Benutzern ausgewählt. Zusätzlich zu den öffentlichen Datensätzen auf der offiziellen Website haben die verbleibenden Open-Source-Projekte Abstimmungskanäle geöffnet.

Erwähnenswert ist, dass dahinter ein Team von Teenagern mit einem Durchschnittsalter von nur 20 Jahren steht.

Und ihr Teamname ist auch sehr dominant: Macrocosm (Macro World) Alliance.

Solange man weit genug hineinzoomt, wird der Mensch zu einem einzigen Lebewesen.

Laut der offiziellen Einführung engagieren sie sich für die Entwicklung von Plug-ins für ChatGPT und andere ähnliche Produkte. Sie entwickeln auch Kernprodukte, persönliche Forschungsassistenten, die auf großen Modellen basieren, um Lernen, Lehren und wissenschaftliche Forschung zu unterstützen.

Interessierte Freunde können auf den Link unten klicken, um mehr zu erfahren~

https://alex.macrocosm.so/download

Das obige ist der detaillierte Inhalt vonDie verrückten Open-Source-Pläne der vier Post-00er-Jahre: Das gesamte Internet wird in einen großen Modellkorpus umgewandelt, und die Kosten für die Einbettung von 100 Millionen Token betragen nur 1 US-Dollar. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!