Technologie-Peripheriegeräte
KI
Die Zero-Sample-Genauigkeit von ImageNet übersteigt zum ersten Mal 80 % und das stärkste Open-Source-CLIP-Modell der Welt wird aktualisiert
Die Zero-Sample-Genauigkeit von ImageNet übersteigt zum ersten Mal 80 % und das stärkste Open-Source-CLIP-Modell der Welt wird aktualisiert
Obwohl ImageNet seine historische Mission längst erfüllt hat, ist es immer noch ein wichtiger Datensatz im Bereich Computer Vision.
Im Jahr 2016 betrug die Sota-Genauigkeit des auf ImageNet trainierten Klassifizierungsmodells heute noch weniger als 80 %, und nur die Zero-Shot-Generalisierung des groß angelegten vorab trainierten Modells kann eine Genauigkeitsrate von 80,1 % erreichen.
Kürzlich hat LAION das Open-Source-Code-Framework OpenCLIP verwendet, um ein brandneues ViT-G/14 CLIP-Modell zu trainieren. Im ImageNet-Datensatz beträgt die Genauigkeit des ursprünglichen OpenAI CLIP nur 75,4 %. , während OpenCLIP eine Zero-Shot-Genauigkeit von 80,1 % und einen Zero-Shot-Bildabruf von 74,9 % (Recall@5) auf MS COCO erreichte. Dies ist derzeit auch das leistungsstärkste Open-Source-CLIP-Modell.
LAION, was für Large-scale Artificial Intelligence Open Network steht, ist eine gemeinnützige Organisation mit Mitgliedern aus der ganzen Welt, deren Ziel es ist, groß angelegte Modelle, Datensätze und zugehörige Codes für maschinelles Lernen bereitzustellen die Öffentlichkeit. Sie behaupten, wirklich Open AI zu sein, 100 % gemeinnützig und 100 % kostenlos.
Interessierte Freunde können ihr CLIP-Modell aktualisieren!
Das OpenCLIP-Modell ist für jeden Datensatz spezifisch. Leistung ist in der folgenden Tabelle dargestellt.
Zero-Shot-Fähigkeit
Im Allgemeinen basiert die Sota-Leistung von Computer Vision (CV)-Modellen bei verschiedenen Aufgaben auf Trainingsdaten in einem bestimmten Bereich und kann nicht auf andere Bereiche oder Aufgaben übertragen werden. Dies führt zu einem eingeschränkten Verständnis der allgemeinen Eigenschaften der visuellen Welt.
Das Generalisierungsproblem ist besonders wichtig in Bereichen, in denen große Mengen an Trainingsdaten fehlen.
Idealerweise sollte das CV-Modell den semantischen Inhalt des Bildes lernen, anstatt sich zu sehr auf bestimmte Bezeichnungen im Trainingssatz zu konzentrieren. Bei einem Bild eines Hundes sollte das Modell beispielsweise in der Lage sein, zu verstehen, dass sich auf dem Bild ein Hund befindet, und darüber hinaus zu verstehen, dass sich im Hintergrund Bäume befinden, dass es tagsüber ist, dass der Hund im Gras ist usw .
Aber die aktuellen Ergebnisse, die durch die Verwendung des „Klassifizierungstrainings“ erzielt werden, sind genau das Gegenteil von den Erwartungen. Das Modell lernt, die interne Darstellung von Hunden in denselben „Hundevektorraum“ und die Katzen in denselben „Katzenvektorraum“ zu verschieben Leerzeichen". Alle Die Antwort auf die Frage ist immer binär, d. h. ob das Bild an einer Klassenbezeichnung ausgerichtet werden kann.
Glücklicherweise ist das CLIP-Modell von OpenAI ein sehr flexibles Klassifizierungsmodell und kann in der Regel ohne Umschulung in neuen Klassifizierungsaufgaben verwendet werden.
Warum CLIP Zero-Shot kann
Contrastive Language-Image Pretraining (CLIP, Contrastive Language-Image Pretraining) ist ein 2021 von OpenAI veröffentlichtes Modell, das hauptsächlich auf Transformer basiert. CLIP besteht aus zwei Modellen, einem Transformer-Encoder zum Konvertieren von Text in Einbettungen und einem Visual Transformer (ViT) zum Codieren von Bildern.
Sowohl Text- als auch Bildmodelle in CLIP werden während des Vortrainings optimiert, um ähnliche Texte und Bilder im Vektorraum auszurichten. Während des Trainingsprozesses werden Bild-Text-Paare in den Daten im Vektorraum näher zusammengeschoben, während Bild- und Textvektoren, die nicht zu einem Paar gehören, getrennt werden.
Es gibt mehrere Unterschiede zwischen CLIP- und allgemeinen Klassifizierungsmodellen:
Erstens wird OpenAI mithilfe eines sehr großen Datensatzes trainiert, der 400 Millionen aus dem Internet gecrawlte Text-Bild-Paare enthält. Die Vorteile sind:
1. Das Training von CLIP erfordert nur „Bild-Text-Paare“ und keine spezifischen Klassenbezeichnungen, und diese Art von Daten ist in der heutigen, auf soziale Medien ausgerichteten Online-Welt sehr häufig.
2. Große Datensätze bedeuten, dass CLIP in der Lage ist, gängige Textkonzepte in Bildern zu verstehen.
3. Der Textdeskriptor enthält häufig verschiedene Merkmale im Bild, nicht nur ein Kategoriemerkmal, was bedeutet, dass eine umfassendere Bild- und Textdarstellung erstellt werden kann.
Die oben genannten Vorteile sind auch ein Schlüsselfaktor für die Fähigkeit von CLIP, Zero-Shot zu etablieren. Der Autor des Papiers verglich auch das speziell auf ImageNet trainierte ResNet-101-Modell und wendete es auf andere von ImageNet abgeleitete Datensätze an. wie unten gezeigt Zum Leistungsvergleich.
Es ist ersichtlich, dass ResNet-101 zwar auf ImageNet trainiert wird, seine Leistung bei ähnlichen Datensätzen jedoch viel schlechter ist als die Leistung von CLIP bei derselben Aufgabe.
Bei der Anwendung des ResNet-Modells auf andere Felder ist eine gängige Methode die „lineare Sonde“, d. Tuning.
Im CLIP-Artikel wird die lineare Erkennung ResNet-50 mit Zero-Shot CLIP verglichen. Die Schlussfolgerung ist, dass Zero-Shot CLIP bei mehreren Aufgaben eine bessere Leistung erbringt als ResNet-50.
Es ist jedoch erwähnenswert, dass Zero-Shot bei mehreren Trainingsbeispielen die lineare Erkennung nicht übertrifft.
Zero-Shot-Klassifizierung mit CLIP
Wie Sie der obigen Beschreibung entnehmen können, kann der Bild- und Textencoder einen 512-dimensionalen Vektor erstellen, um das Eingabebild und die Texteingabe demselben Vektorraum zuzuordnen.
Die Verwendung von CLIP für die Zero-Shot-Klassifizierung bedeutet, Kategorieinformationen in Textsätze einzufügen.
Wenn Sie beispielsweise ein Bild eingeben und feststellen möchten, ob es sich bei der Kategorie um ein Auto, einen Vogel oder eine Katze handelt, können Sie drei Textzeichenfolgen zur Darstellung der Kategorien erstellen:
T1 steht für ein Auto: ein Foto von einem Auto
T2 steht für einen Vogel: ein Foto eines Vogels
T3 steht für eine Katze: ein Foto einer Katze
Geben Sie die Kategoriebeschreibung in den Text-Encoder ein und Sie erhalten einen Vektor, der die Kategorie darstellen kann.
Angenommen, die Eingabe ist ein Foto einer Katze. Berechnen Sie nach Erhalt des Bildvektors den Kosinusabstand zwischen ihm und dem Kategorievektor als größte Ähnlichkeit bedeutet, dass die Kategorie des Bildes zur Katze gehört.
Wie Sie sehen können, ist die Kategoriebezeichnung kein einfaches Wort, sondern wird basierend auf dem Format der Vorlage „ein Foto einer {Beschriftung}“ in einen Satz umgeschrieben, der erweitert werden kann ohne Training Eingeschränkte Klassenvorhersage.
Im Experiment verbesserte die Verwendung dieser Eingabeaufforderungsvorlage die Klassifizierungsgenauigkeit von ImageNet um 1,3 Prozentpunkte. Bei der tatsächlichen Verwendung muss sie jedoch anhand verschiedener Datensätze getestet werden.
Python-Implementierung
Es ist auch sehr einfach, CLIP für die Zero-Shot-Klassifizierung zu verwenden. Der Autor hat den frgfm/imagenette-Datensatz in Hugging Face als Demonstration ausgewählt. Der Datensatz enthält 10 Beschriftungen und alle werden als Ganzzahl gespeichert Werte.
Die Verwendung von CLIP zur Klassifizierung erfordert die Konvertierung von Ganzzahlwertbeschriftungen in entsprechenden Textinhalt.
Bevor Sie die Ähnlichkeit zwischen Tags und Fotos direkt berechnen, müssen Sie das CLIP-Modell initialisieren, das mit dem CLIP implementiert werden kann, das über Hugging Face-Transformatoren gefunden wird.
Der Texttransformator kann Text nicht direkt lesen, erfordert jedoch einen Satz ganzzahliger Werte, sogenannte Token-IDs (oder Eingabe_IDs), wobei jede eindeutige Ganzzahl ein Wort oder Unterwort (d. h. Token) darstellt.
Geben Sie den konvertierten Tensor in den Texttransformator ein, um die Texteinbettung des Etiketts zu erhalten.
Beachten Sie, dass der von CLIP ausgegebene Vektor noch nicht normalisiert wurde und die nach der Punktmultiplikation erhaltene Ähnlichkeit ist. Die Ergebnisse sind ungenau.
Jetzt können Sie ein Bild im Datensatz zum Testen auswählen und nach dem gleichen Verarbeitungsprozess den Bildvektor erhalten.
Nachdem Sie das Bild in einen Vektor mit den Abmessungen (1, 3, 224, 224) konvertiert haben, geben Sie es in das Modell ein, um die Einbettung zu erhalten
Der nächste Schritt besteht darin, die Bildeinbettung zu berechnen und Die Zehn im Datensatz Die Skalarproduktähnlichkeit zwischen Etikettentexteinbettungen, diejenige mit der höchsten Punktzahl ist die vorhergesagte Kategorie.
Das vom Modell angegebene Ergebnis ist ein Kassettenrekorder. Nachdem wir den gesamten Datensatz wiederholt ausgeführt haben, können wir eine Genauigkeit von 98,7 % erhalten , multimodaler Suche, Zielerkennung und generativen Modellen wie Dall-E und Stable von OpenAI eröffnet CLIP eine neue Tür zur Computer Vision.
Das obige ist der detaillierte Inhalt vonDie Zero-Sample-Genauigkeit von ImageNet übersteigt zum ersten Mal 80 % und das stärkste Open-Source-CLIP-Modell der Welt wird aktualisiert. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Heiße KI -Werkzeuge
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Undress AI Tool
Ausziehbilder kostenlos
Clothoff.io
KI-Kleiderentferner
AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.
Heißer Artikel
Heiße Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Heiße Themen
1359
52
Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo
May 07, 2024 pm 04:13 PM
Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt
KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert
Jun 01, 2024 pm 10:03 PM
Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN
Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend
KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao
Apr 09, 2024 am 11:52 AM
KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.
Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden
Apr 01, 2024 pm 07:46 PM
Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus
Mar 18, 2024 am 09:20 AM
Heute möchte ich eine aktuelle Forschungsarbeit der University of Connecticut vorstellen, die eine Methode zum Abgleichen von Zeitreihendaten mit großen NLP-Modellen (Natural Language Processing) im latenten Raum vorschlägt, um die Leistung von Zeitreihenprognosen zu verbessern. Der Schlüssel zu dieser Methode besteht darin, latente räumliche Hinweise (Eingabeaufforderungen) zu verwenden, um die Genauigkeit von Zeitreihenvorhersagen zu verbessern. Titel des Papiers: S2IP-LLM: SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting Download-Adresse: https://arxiv.org/pdf/2403.05798v1.pdf 1. Hintergrundmodell für große Probleme
Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen!
May 06, 2024 pm 04:13 PM
Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil
FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera
Apr 26, 2024 am 11:37 AM
Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren
