Um die Schwierigkeit zu lösen, große Modelle zu reproduzieren und zusammenzuarbeiten, gründete dieses Studententeam nach den 95er-Jahren eine inländische Open-Source-KI-Community

In den letzten zehn Jahren hat die KI-Technologie große Fortschritte gemacht, sei es in der Verarbeitung natürlicher Sprache, in der Bilderkennung oder in innovativeren Bereichen – die Auswirkungen von KI waren allgegenwärtig.

Mit dem explosionsartigen Wachstum der Zahl der Forschungsarbeiten stehen auch Wissenschaft und Industrie vor einigen Herausforderungen, darunter den Problemen der „Papierreproduktion“ und der „interdisziplinären Zusammenarbeit“. Vor allem im Zeitalter der großen Modelle werden Open Source, Reproduktion und Zusammenarbeit wichtiger, aber auch die Schwierigkeit wird noch größer.

Die Papierreproduktion ist zunächst einmal ein wichtiger Referenzfaktor zur Beurteilung der Wertigkeit eines Ergebnisses. Gleichzeitig wird die Gewährleistung der Reproduzierbarkeit der Forschung im sich schnell entwickelnden Bereich der KI die Anhäufung von Wissen und die Popularisierung von Technologie besser fördern. Dies ist auch der Schlüssel zur Aufrechterhaltung der akademischen Integrität und zur Förderung kontinuierlicher Innovation. Angesichts dieser Probleme ist es besonders wichtig, sich für offene Wissenschaft und transparente Forschung einzusetzen. Durch Open-Source-Code, Daten und experimentelle Details, die Bereitstellung einer kostengünstigeren Computerplattform für Replikationsanforderungen und die Bereitstellung interaktiver Programme zur Unterstützung einer schnellen Replikation können wir möglicherweise eine robustere und effizientere Möglichkeit schaffen, die wissenschaftliche Forschung voranzutreiben .

Wenn wir über das Problem der „Schwierigkeit der Reproduktion“ sprechen, ist das, als würde man dem „Dialog“ zwischen Forschern eine hohe Mauer hinzufügen. Das Problem der „Schwierigkeit in der Zusammenarbeit“ stellt zudem eine unsichtbare Barriere für die interdisziplinäre Zusammenarbeit dar.

Im Zeitalter großer Models ist es zu einer großen Herausforderung geworden, eine praktische Plattform aufzubauen, die die Hemmschwelle für Kommunikation und Zusammenarbeit senken kann. Die herkömmlichen Methoden der Softwareentwicklungszusammenarbeit, mit denen wir vertraut sind, wie z. B. Git-basiertes Codemanagement und Versionskontrolle, sind möglicherweise nicht mehr in Szenarien wie KI-Forschung und -Entwicklung anwendbar, die mehr auf Experimenten als auf deterministischen Prozessen basieren. Die experimentelle Versionsverwaltung ist relativ komplex Hohe Nutzungs- und Bereitstellungsschwellen behindern häufig die Kommunikation und Zusammenarbeit zwischen Experten verschiedener Fachgebiete. Der aktuelle KI-Bereich erfordert neue Kollaborationsmodelle und -tools, einschließlich intuitiverer und benutzerfreundlicherer Versionskontroll- und Kollaborationsplattformen, damit Experten mit nicht-technischem Hintergrund problemlos an der Modellentwicklung, -bewertung und -demonstration teilnehmen können.

Mit anderen Worten: Sowohl wissenschaftliche Forscher als auch Praktiker hoffen, durch den Austausch von Wissen und Technologie eine effizientere und intensivere Zusammenarbeit zu erreichen und die weitere Entwicklung im Bereich der KI voranzutreiben.

In diesem Zusammenhang wurde eine brandneue KI-Open-Source-Community-Plattform „SwanHub“ geboren.

Experience-Adresse: https://swanhub.co/

Es ist erwähnenswert, dass SwanHub aus einem sehr jungen Team von Doktoranden und Studenten der Xi'an University of Electronic Science and Technology of China stammt. Die vier Mitglieder des Teams sind alle nach 1995 geboren. Sie verfügen nicht nur über umfangreiche Erfahrung in der KI-Forschung, sondern auch über eine Leidenschaft für Open Source. Unter der Leitung ihrer Dozenten Professor Wu Jiaji und Professor Tan Mingzhou bauten sie von Grund auf eine zentrale Plattform für die gemeinsame Entwicklung, Open-Source-Freigabe und visuelle Anzeige von KI-Modellen auf, mit dem Ziel, die aktuellen Schwierigkeiten bei der Reproduktion, Bereitstellung und Verwaltung zu lösen KI-Modelle. Schwierige Kernfrage.

Welche Probleme löst SwanHub?

Auf der SwanHub-Plattform haben KI-Forscher und -Praktiker nicht nur Zugriff auf eine Fülle von Open-Source-Modell- und Tool-Ressourcen, sondern genießen auch den Komfort und die Effizienz der kollaborativen Entwicklung. Derzeit hat SwanHub mehrere Kernfunktionen eingeführt, darunter AI-Modell-Hosting, visuelle Anzeige usw.

Zunächst können KI-Forscher ihren eigenen Code auf SwanHub zur Versionsverwaltung hosten, genau wie bei der Github-Hosting-Plattform. Im Vergleich zu GitHub unterstützt SwanHub jedoch das Hosten großer Dateien mit höherer Kapazität, und Forscher können Modellgewichtsdateien von bis zu Dutzenden GB hosten und versionieren.

„Visuelle Darstellung“ ist auch ein Highlight von SwanHub. Viele Forschungsartikel, die auf Top-Konferenzen und Fachzeitschriften veröffentlicht wurden, zeigen wunderschöne Effekte und innovative Technologien. Doch in der Praxis stoßen Ingenieure und Forscher, die diese Erkenntnisse reproduzieren wollen, oft auf Schwierigkeiten. Aus diesem Grund wurde in den letzten Jahren bei vielen wissenschaftlichen Konferenzen von den Autoren verlangt, dass sie nicht nur Code, sondern auch eine bestimmte Anzahl von Demos einreichen, um ausreichendere Forschungsinformationen bereitzustellen, und SwanHub bietet genau eine solche Plattform, um Ergebnisse öffentlich zu präsentieren und mehr wissenschaftliche Forschung zu erhalten Verkehr.

Wie in der folgenden Abbildung dargestellt, bietet die SwanHub-Plattform einen einfachen Workflow für die Modelldemobereitstellung, mit dem Benutzer durch Klicken auf einige Schaltflächen problemlos Code- und Modellgewichte in einer visuellen und interaktiven Webseitendemo bereitstellen können die Inferenzergebnisse von KI-Modellen und unterstützen den Austausch mit Mitarbeitern, Gutachtern und Kollegen oder deren Veröffentlichung im Internet. SwanHub unterstützt auch gängige Visualisierungs-Frameworks wie Gradio, StreamLit usw.

SwanHub bietet nicht nur eine Plattform für Forscher, die ihre Ergebnisse teilen möchten, um ihre Open-Source-Modelle anzuzeigen, sondern andere Forscher können auch problemlos auf die Open-Source-Ergebnisse anderer Forscher zugreifen, Demos erleben und ein Diskussionsforum für Akademiker nutzen Diskussionen.

Darüber hinaus sagte das Team, dass SwanHub bald zwei Funktionen einführen wird: Die erste Funktion ist ein One-Stop-Code-Bereitstellungsdienst, der es Benutzern ermöglicht, Modelle für maschinelles Lernen einfach als Cloud-Service-API (Application Programming Interface) bereitzustellen und auch zu unterstützen offen für die gesamte Gemeinschaft oder zur privaten Nutzung. Für Forscher, die die API ihrer eigenen Modelle öffnen, können ihre Forschungsergebnisse schneller in verschiedene Anwendungsszenarien integriert und gleichzeitig die Wirkung ihrer Forschung verbessert werden, für Benutzer können ihre Forschungsergebnisse auch besser verfügbar gemacht werden; Schnell hat die Anwendung Zugriff auf verschiedene leistungsstarke Open-Source-KI-Funktionen. Die zweite Funktion ist das Modellexperiment-Management-Tool SwanLab. Benutzer können ihr eigenes Experimentprotokollierungsprogramm mit SwanLab verbinden, um Online-Experimentprotokollaufzeichnungs- und -verwaltungsfunktionen zu realisieren. Die Plattform kann nicht nur dabei helfen, Trainingsprotokolle aufzuzeichnen und Zwischenmodelle zu hosten, sondern bietet auch visuelle Trainingsergebnisse, Push-Nachrichten zum Trainingsabschluss, Hyperparameter-Aufzeichnung und -Empfehlung, modellübergreifende Vergleiche und andere Funktionen, was Forschern das schnelle Ausprobieren und Entwickeln erleichtert , und verbessern viele Aspekte der gemeinsamen Schulung zwischen Menschen.

^{Model Training Log Hosting -Funktion in der Entwicklung}

Die technische Ideale von vier jungen Menschen

Wenige Menschen wissen, dass die Swanhub Open -Source -Community -Plattform hinter den Kulissen vier junge "" Posts sind -95" Mitglieder.

Lin Zeyi, Chen Shaohong, Han Xiangyu und Lei Qingyang trafen sich auf dem Campus der Xi'an University of Electronic Science and Technology. Aus ihrem jeweiligen Interesse an Technologie gründeten sie einen Club namens „Lightyear Technology Studio“. Später gründeten mehrere gleichgesinnte junge Menschen gemeinsam das „Ji Chuang Studio“ und begaben sich auf die Reise des technologischen Unternehmertums.

Die Inspiration für den Aufbau von SwanHub stammt nicht nur aus der Einsicht des Teams in die Bedürfnisse der Open-Source-Community auf der Grundlage des aktuellen KI-Bereichs, sondern hängt auch mit der eigenen Forschungserfahrung zusammen.

Beim Engagement in der KI-Forschung spüren sie häufig die Bedürfnisse und Herausforderungen der internen Zusammenarbeit und Projektpräsentation. Obwohl einige häufig verwendete Open-Source-Plattformen grundlegende Hosting-Funktionen bereitstellen können, fehlt ihnen häufig ein Abschnitt zur modellbasierten visuellen Zusammenarbeit, was es schwierig macht, die Bemühungen der Labormitglieder zu bündeln.

Für die meisten Forscher sind Fragen wie diese sehr häufig. Einerseits werden die durch komplexe experimentelle Versionen und die Zusammenarbeit mehrerer Personen verursachten Schwierigkeiten die Entwicklung von Forschungsprojekten einschränken. Andererseits behindern die Schwierigkeiten bei der Bereitstellung des Modells und die Schwierigkeit bei der Reproduktion des Trainingsprozesses auch die interne Kommunikation des Teams und Wissensakkumulation. Auch im täglichen akademischen Austausch mangelt es ihnen an einer Plattform, um ihre Ergebnisse und Ansammlungen intuitiv darzustellen.

„Diese Faktoren verstärken unseren Wunsch, eine eigene Kollaborations- und Präsentationsplattform aufzubauen“, sagte Lin Zeyi, SwanHub-Projektleiter. „Wir hoffen, eine Open-Source-Community für den KI-Bereich bereitzustellen, um mehr wissenschaftlichen Forschern und Praktikern bei Aspekten wie Papierreproduktion, Technologieauswahl und Technologieaustausch zu helfen. Darüber hinaus hoffen wir, dass diese modellbasierte, sichtbare und interaktive The.“ Das kollaborative Modell kann die Iterationsgeschwindigkeit von KI-Projekten und die Effizienz der Kommunikation zwischen Teammitgliedern verbessern und unnötige Wartezeiten und Kommunikationskosten reduzieren. Daher besteht die ursprüngliche Idee des SwanHub-Projekts darin, einen vollständigen KI-Workflow vom Papier bis zum Projekt bereitzustellen. Open-Source-Code für die Bereitstellung und visuelle Präsentation. Durch diese Arbeitsabläufe können Benutzer problemlos visuelle Demonstrationen erstellen, während sie Experimente durchführen und Arbeiten zur schnellen Reproduktion und Prüfung durch Kollegen einreichen. Andererseits ist es wahrscheinlicher, dass akademische Projekte, die interaktive Demos anbieten, eine höhere Verbreitung und einen besseren Ruf erreichen und dadurch einen größeren akademischen Einfluss erlangen.

Gleichzeitig berücksichtigte das Team auch die Bedürfnisse der Entwickler in der Branche. Anders als die traditionelle Softwareentwicklung ist die KI-Entwicklung eine experimentelle Wissenschaft. Insbesondere im Zeitalter großer Modelle haben sich auch die Entwicklungs- und Testideen der Technologie stark verändert: In praktischen Anwendungen kann es sein, dass das Modell bei einigen objektiven Indikatoren nicht gut abschneidet. Sie erbringen gute Leistungen, aber um ihre „Intelligenz“ in tatsächlichen Szenarien einzusetzen und sie in professionelle Arbeitsabläufe zu integrieren, sind häufig Experten aus verwandten Bereichen erforderlich, um eingehende tatsächliche Wirkungstests durchzuführen, und dieser Prozess ist auch voller Herausforderungen.

Chen Shaohong, ein Mitglied des SwanHub-Projekts, hat ein tiefes Verständnis dafür. Sein KI-Forschungsteam beteiligte sich einst an einem Projekt zur Entwicklung von Videoverarbeitungsalgorithmen für einen Smartphone-Hersteller. Damals waren die Mitglieder des Forschungsteams über mehrere Städte im ganzen Land verteilt und die meiste Arbeit erforderte eine Online-Zusammenarbeit. Gemessen am gesamten Online-Prozess der Algorithmusaktualisierung, Verifizierung, clientseitigen Bereitstellung und Rückmeldung dauert jede Modelliteration jedoch „1,5 Wochen“ als Einheit, was offensichtlich nicht mit der ursprünglich geplanten Implementierungsgeschwindigkeit mithalten kann Projekt.

Um die Effizienz der Algorithmusaktualisierung zu beschleunigen, empfahl Chen Shaohong dem Forschungsteam, SwanHub zu verwenden. Nach dem Training einer Version des Modells kann die Demo schnell auf der Plattform aktualisiert werden, einschließlich PM , Produktmanager, Test, Markt usw. Forscher können die Auswirkungen online testen und vielfältiges Verbesserungsfeedback geben, was die Kommunikations- und Zusammenarbeitseffizienz zwischen den beiden Parteien erheblich verbessert und auch die Iterationsgeschwindigkeit des Modells erheblich erhöht.

Diese Art der interdisziplinären Zusammenarbeit war in früheren codezentrierten Kooperationen schwer zu erreichen – beispielsweise war es äußerst schwierig, ein Projektmitglied aus der Marketingabteilung zu bitten, die Umgebung zu installieren und das Projekt auszuführen, und die Plattform mit Demo als Kern ermöglicht eine bereichsübergreifende Zusammenarbeit.

Der Wert von Open Source: die treibende Kraft des KI-technologischen Wandels

Vor zwanzig Jahren wurde ein Buch mit dem Titel „Open Source: Voice of the Revolution“ in Technologiekreisen populär. Dieses Buch untersucht und dokumentiert eingehend das Verständnis und die Ausarbeitung der Open-Source-Kultur durch mehr als ein Dutzend Open-Source-Pioniere, darunter legendäre Persönlichkeiten wie Linus Torvalds, den Vater von Linux, und Richard Stallman, den Gründer der Bewegung für freie Software.

Linus Torvalds zum Beispiel war schon immer ein treuer Befürworter von Open Source und erklärte einmal öffentlich: „Die Zukunft ist alles Open Source.“ Seit mehr als 30 Jahren hat er keine Mühen gescheut, um seine Bemühungen in die Linux-Community einzubringen. Dadurch konnte sich Linux nach und nach von einem freien Betriebssystem mit nur wenigen hundert Benutzern zu einer großartigen und kreativen Community entwickeln.

Die Begeisterung der SwanHub-Teammitglieder für Open Source entstand aus diesem Buch. Sie versuchten sogar, das Manuskript, das nur die englische Originalversion enthielt, ins Chinesische zu übersetzen Austausch und technologische Entwicklung können bei der Förderung eine große Rolle spielen.

Das ist auch der große Wert des Aufbaus der SwanHub-Open-Source-Community. Betrachtet man den heutigen Bereich der KI, so sind die meisten wirkungsvollen Fortschritte tief in den Prinzipien von Open Science und Open Source verwurzelt. Diese Grundsätze befürworten nicht nur die freie Verbreitung und den Austausch von Wissen, sondern fördern auch die Zusammenarbeit und Innovation in der wissenschaftlichen Forschung auf globaler Ebene erheblich.

Die „Transformers Library“ der Hugging Face-Community ist ein klassisches Beispiel: Das 2016 gegründete Unternehmen erlangte mit seiner einfach zu bedienenden Benutzeroberfläche und der großen Anzahl an Vorabversionen schnell große Anerkennung und einen herzlichen Empfang in der KI-Community -ausgebildete Modelle. Es bietet nicht nur eine Plattform zum Veröffentlichen, Teilen und Zusammenarbeiten, sondern eröffnet auch ein innovatives Kooperationsmodell, das die Hemmschwelle für den Einsatz von Deep-Learning-Modellen erheblich senkt und es mehr Entwicklern und Forschern ermöglicht, diese Modelle in tatsächlichen Projekten und Forschungen anzuwenden.

Das Beste ist, dass die Hugging Face-Community die Zusammenarbeit auf globaler Ebene fördert und erleichtert. Auf dieser Plattform teilen Entwickler und Forscher ihre selbst entwickelten Modelle, steuern Code bei, stellen Fragen und arbeiten gemeinsam an Lösungen. Dieser kollaborative Brainstorming-Ansatz hat die Entwicklung der KI-Technologie erheblich vorangetrieben und auch einige Spitzentechnologien zugänglich gemacht, die der Öffentlichkeit möglicherweise verschlossen blieben.

Der Erfolg von Hugging Face ist kein Zufall. Er zeigt, dass eine offene und kollaborative Technologie-Community eine wichtige Rolle bei der Förderung des technologischen Fortschritts gespielt hat. Wenn wissenschaftliche Forscher über Kanäle verfügen, um Forschungsergebnisse wie Daten, Methoden, Modelle und Werkzeuge offen auszutauschen, können ihre Beiträge zum gemeinsamen Reichtum der Forschungsgemeinschaft werden.

Diese Praxis des offenen Teilens ermöglicht es anderen Forschern, auf den Schultern von „Giganten“ zu stehen und nicht nur weiter zu blicken, sondern auch weiterhin zu forschen und Innovationen zu entwickeln. In einem solchen Umfeld kann die Entwicklung der KI-Technologie schnell und in einem positiven Zyklus voranschreiten.

Zu diesem Zeitpunkt sind die Ziele von SwanHub und Hugging Face im Grunde dieselben. Im Hinblick auf die Zukunft von SwanHub hofft das Team, die Fähigkeiten und Erfahrungen von SwanHub in den Bereichen Zusammenarbeit, Bereitstellung, Community usw. weiter zu verbessern, und wird eine Tool-Matrix rund um SwanHub aufbauen, einschließlich des modularen Programmiertools für große Modelle, SwanChain, des Tools zur Verwaltung von Modellexperimenten, SwanLab, usw., wobei KI den gesamten Lebenszyklus der Forschung abdeckt und weiterhin den Open-Source-Weg einschlägt.

Heutzutage boomen große Modelle und es entstehen neue Ergebnisse. Unternehmen wie Google und OpenAI verfügen möglicherweise nicht über einen „Wassergraben“, aber die Open-Source-Kräfte nehmen ständig zu und holen auf umfasst auch die gemeinsamen Anstrengungen unzähliger Open-Source-Befürworter.

Das obige ist der detaillierte Inhalt vonUm die Schwierigkeit zu lösen, große Modelle zu reproduzieren und zusammenzuarbeiten, gründete dieses Studententeam nach den 95er-Jahren eine inländische Open-Source-KI-Community. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!