Am 7. Juni ging der erste große Modellwettbewerb (CVPR 2023 Workshop on Foundation Model: 1. Foundation Model Challenge) der führenden internationalen Konferenz für künstliche Intelligenz CVPR 2023 zu Ende. An diesem Wettbewerb nahmen namhafte Universitäten und namhafte Unternehmen teil aus der ganzen Welt. Nach zwei Monaten harter Konkurrenz schnitt das Tianyi Cloud AI-Team (Teamname CTRL) auf der Multitasking-Großmodellstrecke gut ab und gewann die Meisterschaft dieses Wettbewerbs.
(Bildquelle: Photo Network)
Die CVPR-Konferenz ist eine internationale akademische Konferenz zu Computer Vision und Mustererkennung, die von IEEE veranstaltet wird. Sie enthält die neuesten Forschungsergebnisse und technologischen Entwicklungen in diesem Bereich. Sie ist eine der drei Top-Konferenzen zu Computer Vision weltweit.
Der traditionelle Herstellungsprozess für visuelle Modelle verwendet normalerweise eine einzelne Aufgabe und beginnt das Training von Grund auf, und jede Aufgabe kann nicht voneinander lernen. Aufgrund der begrenzten Einzelaufgabendaten ist der tatsächliche Effekt des Modells zu stark von der Verteilung der Aufgabendaten abhängig, und der Generalisierungseffekt für verschiedene Szenarien ist normalerweise gering.
In den letzten Jahren hat sich die Big-Data-Pre-Training-Technologie rasant weiterentwickelt. Durch die Verwendung großer Datenmengen zum Erlernen allgemeiner Kenntnisse und deren Übertragung auf nachgelagerte Aufgaben wird im Wesentlichen ein gegenseitiges Lernen zwischen verschiedenen Aufgaben erreicht. Das auf massiven Daten basierende vorab trainierte Modell verfügt über eine gute Wissensvollständigkeit und kann auch dann noch gute Ergebnisse erzielen, wenn eine kleine Datenmenge zur Feinabstimmung in nachgelagerten Aufgaben verwendet wird. Allerdings erfordert der Modellproduktionsprozess, der auf Vorschulung + nachgelagerter Aufgabenfeinabstimmung basiert, ein separates Training der Modelle für jede Aufgabe, was viele Ressourcen in Forschung und Entwicklung verbraucht. Im Gegensatz dazu trainiert das Multitask-Trainingsschema ein leistungsstarkes allgemeines Modell unter Verwendung von Daten aus mehreren Aufgaben, die direkt zur Bewältigung mehrerer Aufgaben angewendet werden können, wodurch die Modellproduktivität und die Generalisierungsfähigkeiten effektiv verbessert werden.
In diesem Wettbewerb müssen die Teilnehmer mit einem einzigen Modell gleichzeitig das gemeinsame Training von drei repräsentativen Aufgaben absolvieren: Klassifizierung, Erkennung und Segmentierung in Verkehrsszenen. Das Team von Tianyi Cloud AI stützte sich beim Modelldesign auf seine umfangreiche Erfahrung in der Algorithmenentwicklung und wählte ein vorab trainiertes Modell mit nur 60 % der Parameter des zweiten Platzes aus, wodurch eine höhere Genauigkeit mit weniger Parametern erreicht wurde.
Um das Problem der langsamen Konvergenz zu lösen, die durch inkonsistente Verlustfunktionen und Gradienten jedes Zweigs beim Multitasking-Training verursacht wird, hat das Tianyi Cloud AI-Team die Methode des Verlustausgleichs und der Vereinheitlichung der Gradientenskala übernommen, um die Verlustfunktion jedes Aufgabenzweigs auszugleichen und stellen Sie sicher, dass der Gradient einen konsistenten Maßstab hat, wodurch die Trainingseffizienz und die Konvergenzgeschwindigkeit des Modells verbessert werden. Darüber hinaus verwendet das Tianyi Cloud AI-Team sorgfältig entworfene aufgabenspezifische Funktionspyramiden und Aufmerksamkeitsmechanismen, um es jeder Zweigaufgabe zu ermöglichen, Funktionen im Backbone-Netzwerk zu nutzen, die für ihre eigenen Aufgaben effektiver sind, wodurch die Genauigkeit und Leistung insgesamt weiter verbessert wird Modell.
Durch die oben genannten Modelldesign- und Trainingsstrategien erzielte das Tianyi Cloud AI-Team hervorragende Ergebnisse im Wettbewerb und stellte seine umfassende Akkumulation und kontinuierliche Innovationsfähigkeit in den Bereichen Bild, Audio und Multimodalität voll unter Beweis. Auch in Zukunft wird Tianyi Cloud weiterhin Innovationen und Forschungen auf dem weiten Gebiet der künstlichen Intelligenz vorantreiben, mehr Benutzern mit fortschrittlicherer Technologie und hervorragenden Ergebnissen zugute kommen und die digitale Entwicklung Tausender Branchen unterstützen.
Das obige ist der detaillierte Inhalt vonTianyi Cloud gewann die Meisterschaft bei der International AI Summit Large Model Challenge. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
