Inhaltsverzeichnis
Experimentelle Ergebnisse
Abgestimmt auf die Erkennung menschlicher Objekte
In diesem Experiment erstellten die Forscher Etikettenzuordnungen von JFT zu ImageNet und von ImageNet zu verschiedenen Datensätzen außerhalb der Verteilung wie ObjectNet.
Zuallererst ist die Skalierung ein vielversprechender Kompromiss. Selbst wenn das Modell trainiert und dann nachbearbeitet wird, um sein Niveau der demografischen Parität unter einem vorgeschriebenen und tolerierbaren Niveau zu halten, wird sich die Leistung mit der Zeit verbessern die Vergrößerung des Maßstabs.
Heim Technologie-Peripheriegeräte KI CV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

CV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

Apr 07, 2023 pm 03:09 PM
模型

Transformer trägt zweifellos am meisten zum Wohlstand im Bereich der Verarbeitung natürlicher Sprache bei und ist auch die Infrastruktur für groß angelegte Sprachmodelle wie GPT-4.

Im Vergleich zu den zig Milliarden Parametern von Sprachmodellen profitiert der Bereich Computer Vision jedoch nicht so sehr von den Vorteilen von Transformer. Derzeit verfügt das größte visuelle Transformer-Modell ViT-e nur über 4 Milliarden Parameter.

Kürzlich hat Google ein Papier veröffentlicht, in dem Forscher eine Methode vorgeschlagen haben, mit der groß angelegte Vision Transformers (ViT)-Modelle effizient und stabil trainiert werden können, wodurch die Anzahl der ViT-Parameter erfolgreich auf 22 Milliarden erhöht werden kann.


CV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

Link zum Papier: https://arxiv.org/abs/2302.05442

Um eine Modellerweiterung zu erreichen, kombiniert ViT-22B die Funktionen anderer Sprachmodelle (z. B (das PaLM-Modell) Die Idee besteht darin, die QK-Normalisierung zu verwenden, um die Trainingsstabilität zu verbessern und eine neue Methode für „asynchrone parallele lineare Operationen“ vorzuschlagen, um die Trainingseffizienz zu verbessern und auf Cloud TPU mit höherer Hardwareeffizienz trainieren zu können.

Bei der Durchführung von Experimenten mit dem ViT-22B-Modell zur Bewertung der Leistung nachgelagerter Aufgaben zeigte ViT-22B auch ähnliche Fähigkeiten wie große Sprachmodelle, d. h. mit zunehmender Modellskala verbessert sich die Leistung weiter.

ViT-22B kann auch in PaLM-e verwendet werden. Das große Modell kann in Kombination mit dem Sprachmodell das technische Niveau von Roboteraufgaben erheblich verbessern.

Die Forscher beobachteten darüber hinaus weitere durch die Skalierung bedingte Vorteile, darunter ein besseres Gleichgewicht zwischen Fairness und Leistung, Übereinstimmung mit der „menschlichen visuellen Wahrnehmung“ in Bezug auf Form-/Texturverzerrung und eine bessere Robustheit.

Modellarchitektur

ViT-22B ist ein Modell, das auf der Transformer-Architektur basiert. Im Vergleich zur ursprünglichen ViT-Architektur haben die Forscher hauptsächlich drei Modifikationen vorgenommen, um die Trainingseffizienz und Trainingsstabilität zu verbessern.

Parallele Schichten

ViT-22B führt den Aufmerksamkeitsblock und den MLP-Block parallel aus, während sie im ursprünglichen Transformer nacheinander ausgeführt werden.

PaLM-Modelltraining verwendet ebenfalls diese Methode, wodurch die Trainingsgeschwindigkeit großer Modelle ohne Leistungseinbußen um 15 % erhöht werden kann. CV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

Query/Key (QK)-Normalisierung

Während der Erweiterung von ViT beobachteten Forscher in einem Modell mit 8 Milliarden Parametern, dass der Trainingsverlust hauptsächlich nach einigen tausend Trainingsschritten zu divergieren begann aufgrund der Instabilität, die durch übermäßig große Werte von Aufmerksamkeitsprotokollen verursacht wird, was zu Aufmerksamkeitsgewichten von Null Entropie führt (fast One-Hot).

Um dieses Problem zu lösen, verwendeten die Forscher LayerNorm für Abfrage und Schlüssel vor der Berechnung der Aufmerksamkeit des Punktprodukts

Die experimentellen Ergebnisse des 8-Milliarden-Parameter-Modells sind in der folgenden Abbildung dargestellt. Eine Normalisierung kann Abhilfe schaffen Divergenzproblem. CV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

... um 3 % ohne Qualitätsverlust.


Im Gegensatz zu PaLM verwendet ViT-22B jedoch einen Bias-Term für (interne und externe) dicht verbundene MLP-Schichten, und es kann beobachtet werden, dass die Qualität verbessert und die Geschwindigkeit nicht verringert wird. CV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

Im Encoder-Modul von ViT-22B ist die Einbettungsschicht, einschließlich Extraktionspatches, linearer Projektionen und zusätzlicher Positionseinbettungen, dieselben wie im ursprünglichen ViT, und Multi-Head-Aufmerksamkeitspooling wird zur Aggregation pro Token verwendet Darstellungen in jedem Kopf.

Die Patchgröße von ViT-22B beträgt 14×14 und die Auflösung des Bildes beträgt 224×224 (vorverarbeitet durch Anfangszuschnitt und zufälliges horizontales Spiegeln).

asynchrone parallele lineare Operationen

Großmaßstäbliche Modelle erfordern auch Sharding, das heißt, die Modellparameter werden auf verschiedene Computergeräte verteilt. Darüber hinaus sind die Aktivierungen (Zwischendarstellungen der Eingabe) für Forscher ebenfalls erforderlich in Scheiben geschnitten.

CV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

Da sowohl die Eingabe als auch die Matrix selbst auf verschiedene Geräte verteilt sind, erfordern selbst einfache Operationen wie die Matrixmultiplikation besondere Sorgfalt.

Forscher haben eine Methode namens asynchrone parallele lineare Operationen entwickelt, die gleichzeitig Aktivierungen und Gewichtungen zwischen Geräten steuern kann, während in der Matrixmultiplikationseinheit (der Einheit, die den größten Teil der Rechenleistung im zu kommunizierenden TPU ausmacht) gerechnet wird .

Asynchrone Methoden minimieren die Wartezeit auf eingehende Kommunikation und erhöhen so die Geräteeffizienz.

Das Ziel asynchroner paralleler linearer Operationen besteht darin, die Matrixmultiplikation y = Ax zu berechnen, aber sowohl die Matrix A als auch die Aktivierung x sind auf verschiedene Geräte verteilt, was eine überlappende Kommunikation und Berechnungen zwischen den Geräten erfordert, um dies zu erreichen. Die Matrix A ist geräteübergreifend in Spalten unterteilt. Jede Matrix enthält einen zusammenhängenden Abschnitt, wobei jeder Block als Aij dargestellt wird. Weitere Informationen finden Sie im Originalpapier.

CV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

Experimentelle Ergebnisse

Um zu veranschaulichen, dass die von ViT-22B gelernten Darstellungen sehr umfangreich sind, verwendeten die Forscher LiT-Tuning, um ein Textmodell zu trainieren, um einige Darstellungen zum Ausrichten von Text und Bildern zu generieren.

Das Folgende sind experimentelle Ergebnisse, die mit von Parti und Imagen generierten Out-of-Distribution-Bildern erzielt wurden. Es ist ersichtlich, dass die Fähigkeit zur Generalisierung von Zero-Shot-Bildern sehr stark ist. Es wird nur aus dem Internet gecrawlt . Unsichtbare Objekte und Szenen können anhand natürlicher Bilder erkannt werden.

CV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

Der Artikel diskutiert auch die Wirkung von ViT-22B auf Videoklassifizierung, Tiefenschätzung und semantische Segmentierungsaufgaben.

Abgestimmt auf die Erkennung menschlicher Objekte

Um die Konsistenz von ViT-22B-Klassifizierungsentscheidungen mit menschlichen Klassifizierungsentscheidungen zu überprüfen, haben die Forscher ViT-22B auf verschiedene Auflösungen des Out-of-Distribution (OOD)-Datensatzes Fine abgestimmt -Tuning, bei dem menschliche Vergleichsdaten über die Modell-gegen-Mensch-Toolbox verfügbar sind.

Diese Toolbox misst hauptsächlich drei Schlüsselindikatoren: Wie geht das Modell mit Verzerrungen um (Genauigkeit)? Was ist der Unterschied zwischen menschlicher und modellhafter Genauigkeit (Unterschied in der Genauigkeit)? Wie ähnlich sind die Fehlermuster (Fehlerkonsistenz) von Personen und Modellen?

CV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

Formabweichungsbewertung (größere Werte bedeuten mehr Formabweichungen). Viele Sehmodelle weisen einen geringen Form-/hohen Textur-Bias auf, und ViT-22B, fein abgestimmt auf ImageNet, weist den höchsten bisher unter den ML-Modellen aufgezeichneten Form-Bias auf, näher am menschlichen Shape-Bias

Experimentelle Ergebnisse zeigen, dass dies jedoch nicht der Fall ist Alle fein abgestimmten Lösungen zeigten eine gute Leistung, aber die ViT-22B-Variante erreichte in allen drei Kennzahlen neue Höchstwerte.

Darüber hinaus weist das Modell ViT-22B auch den höchsten Formabweichungsrekord unter den visuellen Modellen auf. Dies bedeutet, dass sie zur Klassifizierungsentscheidung hauptsächlich die Form des Objekts und nicht die Textur des Objekts verwenden und die Strategieergebnisse der menschlichen Wahrnehmung ähneln (die Formverzerrung beträgt 96 %).

Standardmodelle (z. B. ResNet-50 weist eine Formabweichung von 20–30 % auf) klassifizieren häufig anhand der Textur, während Modelle mit hoher Formabweichung dazu neigen, sich auf die Form zu konzentrieren (im Bild unten als Katze identifiziert), obwohl es sich um Menschen handelt und Modelle Es gibt immer noch viele Unterschiede in der Wahrnehmung, aber ViT-22B weist mehr Ähnlichkeiten mit der menschlichen visuellen Objekterkennung auf.

CV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

Katze oder Elefant? Auto oder Uhr? Vogel oder Fahrrad? Bilder mit der Form eines Objekts und der Textur eines anderen Objekts können zur Messung von Form-/Texturabweichungen verwendet werden.

In diesem Experiment erstellten die Forscher Etikettenzuordnungen von JFT zu ImageNet und von ImageNet zu verschiedenen Datensätzen außerhalb der Verteilung wie ObjectNet.

Die Ergebnisse nach dem Vortraining dieser Daten werden unten angezeigt. Anschließend wird das Modell auf ImageNet vollständig verfeinert.

Es ist zu beobachten, dass die Skalierung von Vision Transformers die OOD-Leistung verbessern kann: Selbst wenn die Genauigkeit von ImageNet die Sättigung erreicht, ist ersichtlich, dass der Wechsel vom ViT-e- zum ViT-22B-Modell auf ObjectNet die Leistung erheblich verbessern kann Leistung.

Linear ProbeCV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

Linear Probe ist eine Technik, die eine einzelne lineare Ebene auf ein eingefrorenes Modell legt, wodurch das Training kostengünstiger und die Einrichtung einfacher ist als bei einer vollständigen Feinabstimmung.

Auf ImageNet trainierte lineare Erkennungsergebnisse, ausgewertet auf ImageNet-Real-, ImageNet-v2-, ObjectNet-, ImageNet-R- und ImageNet-A-Datensätzen und liefern hochauflösendes, fein abgestimmtes ViT-e/14 als Referenz

CV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

Aus den Ergebnissen lässt sich erkennen, dass die lineare Erkennungsleistung von ViT-22B nahe am Stand der Technik liegt, kleinere Modelle mithilfe hochauflösender Bilder vollständig zu verfeinern und mit höheren Auflösungen zu trainieren ist in der Regel deutlich teurer, kann aber bei vielen Aufgaben bessere Ergebnisse erzielen. Destillation

Mit der Destillationsmethode kann das Wissen eines größeren Modells in das Wissen eines kleineren Modells umgewandelt werden, wodurch die Betriebseffizienz großer Modelle verbessert werden kann, die teurer sind und langsamer laufen.

Aus den experimentellen Ergebnissen geht hervor, dass das Wissen von ViT-22B auf kleinere Modelle wie ViT-B/16 und ViT-L/16 übertragen und gleichzeitig auf ImageNet aufgefrischt werden kann Leistungsrekorde in Modellgröße.

Fairness und BiasCV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

Modelle des maschinellen Lernens sind anfällig für unbeabsichtigte unfaire Bias, wie z. B. das Finden falscher Korrelationen oder Leistungsunterschiede zwischen Untergruppen, und Forscher haben herausgefunden, dass die Skalierung von Modellen dazu beitragen kann, diese Probleme zu lindern.

Zuallererst ist die Skalierung ein vielversprechender Kompromiss. Selbst wenn das Modell trainiert und dann nachbearbeitet wird, um sein Niveau der demografischen Parität unter einem vorgeschriebenen und tolerierbaren Niveau zu halten, wird sich die Leistung mit der Zeit verbessern die Vergrößerung des Maßstabs.


CV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe


Oben: Genauigkeit jeder Untergruppe in CelebA vor der Debiasierung. Unten: Die Y-Achse zeigt den absoluten Leistungsunterschied für die beiden in diesem Beispiel hervorgehobenen spezifischen Untergruppen (Frauen und Männer). Im Vergleich zum kleineren ViT-Modell ist der Leistungsunterschied beim ViT-22B sehr gering.

CV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe

Noch wichtiger ist, dass dies nicht nur gilt, wenn die Leistung anhand der Genauigkeit gemessen wird, sondern auch für andere Maßnahmen wie die Kalibrierung, d. h. ein statistisches Maß für die Wahrhaftigkeit der geschätzten Wahrscheinlichkeiten des Modells, wobei alle Untergruppen als It klassifiziert werden tendiert dazu, sich mit zunehmender Skalierung zu verbessern, und ViT-22B verringert die Leistungslücke zwischen Untergruppen. Fazit

Die Forscher schlugen eines der derzeit größten visuellen Transformer-Modelle vor, ViT-22B, das 22 Milliarden Parameter enthält.

Durch kleine, aber wichtige Änderungen an der ursprünglichen Modellarchitektur werden eine höhere Hardwareauslastung und Trainingsstabilität erreicht, was zu einem Modell führt, das die Obergrenzenleistung bei mehreren Benchmarks verbessert.

Durch die Verwendung eingefrorener Modelle zum Generieren von Einbettungen, bei denen nur ein paar Schichten darüber trainiert werden müssen, kann eine sehr gute Leistung erzielt werden. Die Bewertungsergebnisse zeigen außerdem, dass ViT-22B im Vergleich zu vorhandenen Modellen eine erhebliche Form- und Texturverzerrung aufweist. Größere Ähnlichkeit zur menschlichen visuellen Wahrnehmung und bietet Vorteile in Bezug auf Fairness und Robustheit.

Das obige ist der detaillierte Inhalt vonCV eröffnet die Ära der großen Modelle! Google veröffentlicht den größten ViT der Geschichte: 22 Milliarden Parameter, die visuelle Wahrnehmung kommt der des Menschen nahe. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Wie man alles in Myrise freischaltet
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo May 07, 2024 pm 04:13 PM

Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert Jun 01, 2024 pm 10:03 PM

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao Apr 09, 2024 am 11:52 AM

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Apr 01, 2024 pm 07:46 PM

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

Mar 18, 2024 am 09:20 AM

Heute möchte ich eine aktuelle Forschungsarbeit der University of Connecticut vorstellen, die eine Methode zum Abgleichen von Zeitreihendaten mit großen NLP-Modellen (Natural Language Processing) im latenten Raum vorschlägt, um die Leistung von Zeitreihenprognosen zu verbessern. Der Schlüssel zu dieser Methode besteht darin, latente räumliche Hinweise (Eingabeaufforderungen) zu verwenden, um die Genauigkeit von Zeitreihenvorhersagen zu verbessern. Titel des Papiers: S2IP-LLM: SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting Download-Adresse: https://arxiv.org/pdf/2403.05798v1.pdf 1. Hintergrundmodell für große Probleme

Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen! Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen! May 06, 2024 pm 04:13 PM

Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil

DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch! DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch! Mar 21, 2024 pm 05:21 PM

In diesem Artikel wird das Problem der genauen Erkennung von Objekten aus verschiedenen Blickwinkeln (z. B. Perspektive und Vogelperspektive) beim autonomen Fahren untersucht, insbesondere wie die Transformation von Merkmalen aus der Perspektive (PV) in den Raum aus der Vogelperspektive (BEV) effektiv ist implementiert über das Modul Visual Transformation (VT). Bestehende Methoden lassen sich grob in zwei Strategien unterteilen: 2D-zu-3D- und 3D-zu-2D-Konvertierung. 2D-zu-3D-Methoden verbessern dichte 2D-Merkmale durch die Vorhersage von Tiefenwahrscheinlichkeiten, aber die inhärente Unsicherheit von Tiefenvorhersagen, insbesondere in entfernten Regionen, kann zu Ungenauigkeiten führen. Während 3D-zu-2D-Methoden normalerweise 3D-Abfragen verwenden, um 2D-Features abzutasten und die Aufmerksamkeitsgewichte der Korrespondenz zwischen 3D- und 2D-Features über einen Transformer zu lernen, erhöht sich die Rechen- und Bereitstellungszeit.

See all articles