Technologie-Peripheriegeräte
KI
He Kaiming kooperiert mit dem MIT: Ein einfaches Framework schafft den neuesten Durchbruch in der bedingungslosen Bilderzeugung
He Kaiming kooperiert mit dem MIT: Ein einfaches Framework schafft den neuesten Durchbruch in der bedingungslosen Bilderzeugung
Der große Chef He Yuming ist dem MIT noch nicht offiziell beigetreten, aber die erste gemeinsame Forschung mit dem MIT ist herausgekommen:
Er und MIT-Lehrer und -Schüler haben ein selbstbedingtes Bilderzeugungs-Framework namens RCG entwickelt ( Der Code war Open Source) .
Diese Framework-Struktur ist sehr einfach, aber die Wirkung ist hervorragend. Sie implementiert das neue SOTA der bedingungslosen Bildgenerierung direkt auf den ImageNet-1K-Datensatz.
Die von ihm generierten Bilder erfordern keine menschlichen Anmerkungen (d. h. Aufforderungswörter, Klassenbeschriftungen usw.) und können sowohl Wiedergabetreue als auch Vielfalt erreichen.
Auf diese Weise verbessert es nicht nur das Niveau der bedingungslosen Bildgenerierung erheblich, sondern konkurriert auch mit den derzeit besten bedingten Generierungsmethoden.
In den Worten des Teams von He Yuming:
Die langjährige Leistungslücke zwischen bedingten und bedingungslosen Generierungsaufgaben wurde in diesem Moment endlich geschlossen.
Also, wie genau geht das?
Selbstbedingte Generierung ähnlich dem selbstüberwachten Lernen
Zunächst bedeutet die sogenannte bedingungslose Generierung, dass das Modell den Inhalt der Datenverteilungsgenerierung ohne die Hilfe von Eingabesignalen direkt erfasst.
Diese Art des Trainings ist schwierig, daher gab es immer eine große Leistungslücke bei der bedingten Generierung – genauso wie unbeaufsichtigtes Lernen nicht mit überwachtem Lernen vergleichbar ist
So wie selbstüberwachtes Lernen entstanden ist, hat es auch diese Situation verändert
Im Bereich der bedingungslosen Bildgenerierung gibt es auch eine selbstbedingte Generierungsmethode, die dem Konzept des selbstüberwachten Lernens ähnelt.
Im Vergleich zur herkömmlichen bedingungslosen Generierung, die einfach die Rauschverteilung auf die Bildverteilung abbildet, setzt diese Methode den Pixelgenerierungsprozess hauptsächlich auf eine Darstellungsverteilung, die von der Datenverteilung selbst abgeleitet ist.
Es wird erwartet, dass es über die bedingte Bildgenerierung hinausgeht und die Entwicklung von Anwendungen wie Molekulardesign oder Arzneimittelentwicklung fördert, die keine menschliche Annotation erfordern (Aus diesem Grund entwickelt sich die bedingte Bildgenerierung so gut, wir sollten auch darauf achten zur bedingungslosen Generation).
Auf der Grundlage dieses Konzepts der selbstbedingten Erzeugung entwickelte das Team von He Kaiming nun zunächst ein Repräsentationsdiffusionsmodell RDM.
Abgefangen vom Bild durch einen selbstüberwachten Bildencoder, der hauptsächlich zur Generierung einer niedrigdimensionalen selbstüberwachten Bilddarstellung verwendet wird
Seine Kernarchitektur ist wie folgt:
Erstens ist die Eingabeschicht, die dafür verantwortlich ist Projizieren der Darstellung auf die verborgene Dimension C, gefolgt von N vollständig verbundenen Blöcken und schließlich einer Ausgabeschicht, die für die Neuprojektion (Konvertierung) der latenten Merkmale der verborgenen Schicht in die ursprüngliche Darstellungsdimension verantwortlich ist.
Jede Ebene umfasst eine LayerNorm-Ebene, eine SiLU-Ebene und eine lineare Ebene.
Ein solches RDM hat zwei Vorteile:
Eines seiner Merkmale ist, dass es eine starke Diversität aufweist, und das andere ist, dass der Rechenaufwand gering ist.
Danach schlug das Team mithilfe von RDM den heutigen Protagonisten vor : stellt die bedingte Bildgenerierungsarchitektur RCG dar.
Es handelt sich um ein einfaches Framework zur selbstbedingten Generierung, das aus drei Komponenten besteht:
Eine davon ist ein SSL-Bildkodierer , der zum Konvertieren der Bildverteilung in verwendet wird Eine Kompaktheit repräsentiert die Verteilung.
Eines ist das RDM, das zum Modellieren und Abtasten dieser Verteilung verwendet wird.
Der letzte ist ein Pixelgenerator MAGE, der verwendet wird, um das Bild entsprechend der Darstellung zu verarbeiten.
MAGE funktioniert, indem es dem tokenisierten Bild eine zufällige Maske hinzufügt und das Netzwerk auffordert, das fehlende Token zu rekonstruieren, abhängig von der aus demselben Bild extrahierten Darstellung Die Struktur dieses selbstbedingten Generierungsrahmens ist einfach, aber seine Wirkung ist sehr gut. Auf ImageNet 256×256 erreichte RCG einen FID von
3,56 und einen IS von 186,9 (Inception Score). 
Für RCG ist die Leistung nicht nur bei der bedingten Generierung gut, sondern auch auf dem gleichen Niveau oder übertrifft sogar Benchmark-Modelle in diesem Bereich und 253,4 . Das Team äußerte: Diese Ergebnisse zeigen, dass das bedingte Bildgenerierungsmodell großes Potenzial hat und eine neue Ära in diesem Bereich einläuten könnte. Vorstellung des Teams: Der andere Autor kommt vom Department of Electrical Engineering and Computer Science am MIT (EECS) Professorin Dina Katabi, Direktorin des MIT Wireless Networks and Mobile Computing Center, ist die Gewinnerin des diesjährigen Sloan-Preises und wurde zur Akademikerin der National Academy of Sciences gewählt. Der korrespondierende Autor ist schließlich He Mingming. Er wird nächstes Jahr offiziell in die akademische Welt zurückkehren und Meta verlassen, um an die Fakultät für Elektrotechnik und Informatik am MIT zu gehen, wo er Kollege von Dina Katabi wird. Bitte klicken Sie auf den folgenden Link, um das Papier anzuzeigen: https://arxiv.org/abs/2312.03701
Das obige ist der detaillierte Inhalt vonHe Kaiming kooperiert mit dem MIT: Ein einfaches Framework schafft den neuesten Durchbruch in der bedingungslosen Bilderzeugung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Heiße KI -Werkzeuge
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Undress AI Tool
Ausziehbilder kostenlos
Clothoff.io
KI-Kleiderentferner
AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.
Heißer Artikel
Heiße Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Heiße Themen
1376
52
Open Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung!
Apr 03, 2024 pm 12:04 PM
0.Was bewirkt dieser Artikel? Wir schlagen DepthFM vor: ein vielseitiges und schnelles generatives monokulares Tiefenschätzungsmodell auf dem neuesten Stand der Technik. Zusätzlich zu herkömmlichen Tiefenschätzungsaufgaben demonstriert DepthFM auch hochmoderne Fähigkeiten bei nachgelagerten Aufgaben wie dem Tiefen-Inpainting. DepthFM ist effizient und kann Tiefenkarten innerhalb weniger Inferenzschritte synthetisieren. Lassen Sie uns diese Arbeit gemeinsam lesen ~ 1. Titel der Papierinformationen: DepthFM: FastMonocularDepthEstimationwithFlowMatching Autor: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr
Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo
May 07, 2024 pm 04:13 PM
Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt
KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao
Apr 09, 2024 am 11:52 AM
KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.
KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert
Jun 01, 2024 pm 10:03 PM
Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN
Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend
Die Kuaishou-Version von Sora „Ke Ling' steht zum Testen offen: Sie generiert über 120 Sekunden Videos, versteht die Physik besser und kann komplexe Bewegungen genau modellieren
Jun 11, 2024 am 09:51 AM
Was? Wird Zootopia durch heimische KI in die Realität umgesetzt? Zusammen mit dem Video wird ein neues groß angelegtes inländisches Videogenerationsmodell namens „Keling“ vorgestellt. Sora geht einen ähnlichen technischen Weg und kombiniert eine Reihe selbst entwickelter technologischer Innovationen, um Videos zu produzieren, die nicht nur große und vernünftige Bewegungen aufweisen, sondern auch die Eigenschaften der physischen Welt simulieren und über starke konzeptionelle Kombinationsfähigkeiten und Vorstellungskraft verfügen. Den Daten zufolge unterstützt Keling die Erstellung ultralanger Videos von bis zu 2 Minuten mit 30 Bildern pro Sekunde, mit Auflösungen von bis zu 1080p und unterstützt mehrere Seitenverhältnisse. Ein weiterer wichtiger Punkt ist, dass es sich bei Keling nicht um eine vom Labor veröffentlichte Demo oder Video-Ergebnisdemonstration handelt, sondern um eine Anwendung auf Produktebene, die von Kuaishou, einem führenden Anbieter im Bereich Kurzvideos, gestartet wurde. Darüber hinaus liegt das Hauptaugenmerk darauf, pragmatisch zu sein, keine Blankoschecks auszustellen und sofort nach der Veröffentlichung online zu gehen. Das große Modell von Ke Ling wurde bereits in Kuaiying veröffentlicht.
Die Vitalität der Superintelligenz erwacht! Aber mit der Einführung der sich selbst aktualisierenden KI müssen sich Mütter keine Sorgen mehr über Datenengpässe machen
Apr 29, 2024 pm 06:55 PM
Ich weine zu Tode. Die Daten im Internet reichen überhaupt nicht aus. Das Trainingsmodell sieht aus wie „Die Tribute von Panem“, und KI-Forscher auf der ganzen Welt machen sich Gedanken darüber, wie sie diese datenhungrigen Esser ernähren sollen. Dieses Problem tritt insbesondere bei multimodalen Aufgaben auf. Zu einer Zeit, als sie ratlos waren, nutzte ein Start-up-Team der Abteilung der Renmin-Universität von China sein eigenes neues Modell, um als erstes in China einen „modellgenerierten Datenfeed selbst“ in die Realität umzusetzen. Darüber hinaus handelt es sich um einen zweigleisigen Ansatz auf der Verständnisseite und der Generierungsseite. Beide Seiten können hochwertige, multimodale neue Daten generieren und Datenrückmeldungen an das Modell selbst liefern. Was ist ein Modell? Awaker 1.0, ein großes multimodales Modell, das gerade im Zhongguancun-Forum erschienen ist. Wer ist das Team? Sophon-Motor. Gegründet von Gao Yizhao, einem Doktoranden an der Hillhouse School of Artificial Intelligence der Renmin University.
Die U.S. Air Force präsentiert ihren ersten KI-Kampfjet mit großem Aufsehen! Der Minister führte die Testfahrt persönlich durch, ohne in den gesamten Prozess einzugreifen, und 100.000 Codezeilen wurden 21 Mal getestet.
May 07, 2024 pm 05:00 PM
Kürzlich wurde die Militärwelt von der Nachricht überwältigt: US-Militärkampfflugzeuge können jetzt mithilfe von KI vollautomatische Luftkämpfe absolvieren. Ja, erst kürzlich wurde der KI-Kampfjet des US-Militärs zum ersten Mal der Öffentlichkeit zugänglich gemacht und sein Geheimnis gelüftet. Der vollständige Name dieses Jägers lautet „Variable Stability Simulator Test Aircraft“ (VISTA). Er wurde vom Minister der US-Luftwaffe persönlich geflogen, um einen Eins-gegen-eins-Luftkampf zu simulieren. Am 2. Mai startete US-Luftwaffenminister Frank Kendall mit einer X-62AVISTA auf der Edwards Air Force Base. Beachten Sie, dass während des einstündigen Fluges alle Flugaktionen autonom von der KI durchgeführt wurden! Kendall sagte: „In den letzten Jahrzehnten haben wir über das unbegrenzte Potenzial des autonomen Luft-Luft-Kampfes nachgedacht, aber es schien immer unerreichbar.“ Nun jedoch,
