


Es dauert nur wenige Sekunden, ein Ausweisfoto in ein digitales Personenbild umzuwandeln. Microsoft hat den ersten hochwertigen Generierungseffekt eines 3D-Diffusionsmodells erreicht, und Sie können Ihr Erscheinungsbild und Ihr Erscheinungsbild in einem Satz ändern.
Der Name dieses 3D-generierten Diffusionsmodells „Rodin“ ist vom französischen Bildhauer Auguste Rodin inspiriert.
Mit einem 2D-Ausweisfoto können Sie in nur wenigen Sekunden einen 3D-Spiel-Avatar entwerfen!
Dies ist die neueste Errungenschaft des Diffusionsmodells im 3D-Bereich. Zum Beispiel kann nur ein altes Foto des französischen Bildhauers Rodin ihn in wenigen Minuten in das Spiel „verwandeln“:
△RODIN-Modell ist ein 3D-Bild, das auf der Grundlage von Rodins altem Foto generiert wurde
Dafür ist sogar nur ein Satz Sie erforderlich kann Ihr Aussehen und Image verändern. Sagen Sie dem KI-generierten Rodin, er solle „einen roten Pullover und eine Brille tragen“:
Gefällt Ihnen der große Slickback nicht? Dann wechseln Sie zum „Flecht-Look“:
Versuchen Sie noch einmal, Ihre Haarfarbe zu ändern? Dies ist eine „modische, trendige Person mit braunen Haaren“, sogar die Bartfarbe ist festgelegt:
(„modische, trendige Person“ ist in den Augen der KI tatsächlich etwas zu trendy)
Das neueste 3D-generierte Diffusionsmodell oben „Rodin“ RODIN (Roll-out Diffusion Network), von Microsoft Research Asia.
RODIN ist auch das erste Modell, das das generative Diffusionsmodell verwendet, um automatisch 3D-Digital-Avatare (Avatar) auf 3D-Trainingsdaten zu generieren. Das Papier wurde von CVPR 2023 angenommen.
Lass uns einen Blick darauf werfen.
Trainieren Sie das Diffusionsmodell direkt mit 3D-Daten
Der Name dieses 3D-generierten Diffusionsmodells „Rodin“ ist vom französischen Bildhauer Auguste Rodin inspiriert.
Früher wurden 2D-generierte 3D-Bildmodelle normalerweise durch Training generativer gegnerischer Netzwerke (GAN) oder Variationaler Autoencoder (VAE) mit 2D-Daten erhalten, aber die Ergebnisse waren oft unbefriedigend.
Forscher haben analysiert, dass der Grund für dieses Phänomen darin liegt, dass diese Methoden ein grundlegendes, unterbestimmtes (schlecht gestelltes) Problem haben. Das heißt, aufgrund der geometrischen Mehrdeutigkeit von Einzelansichtsbildern ist es schwierig, die angemessene Verteilung hochwertiger 3D-Avatare nur anhand einer großen Menge an 2D-Daten zu erlernen, was zu schlechten Generierungsergebnissen führt.
Deshalb versuchten sie dieses Mal, 3D-Daten direkt zum Trainieren des Diffusionsmodells zu verwenden, was hauptsächlich drei Probleme löste:
Erstens, wie man das Diffusionsmodell verwendet, um Mehransichtsbilder des 3D-Modells zu erzeugen. Bisher gab es keine praktischen Methoden und Präzedenzfälle für Diffusionsmodelle auf 3D-Daten.- Zweitens ist es schwierig, qualitativ hochwertige und große 3D-Bilddatensätze zu erhalten, und es bestehen Datenschutz- und Urheberrechtsrisiken, aber die Konsistenz mehrerer Ansichten für im Internet veröffentlichte 3D-Bilder kann nicht garantiert werden.
- Abschließend wird das 2D-Diffusionsmodell direkt auf die 3D-Generierung erweitert, was einen enormen Speicher-, Speicher- und Rechenaufwand erfordert.
- Um diese drei Probleme zu lösen, schlugen die Forscher das RODIN-Diffusionsmodell „AI Sculptor“ vor, das das SOTA-Niveau bestehender Modelle übertrifft.
Das RODIN-Modell verwendet die Neural Radiation Field (NeRF)-Methode und stützt sich auf die EG3D-Arbeit von NVIDIA, um den 3D-Raum kompakt in drei zueinander senkrechten Merkmalsebenen (Triplanes) im Raum auszudrücken und diese Karten zu einer einzigen 2D-Merkmalsebene zu erweitern. Führen Sie dann eine 3D-Sensordiffusion durch.
Konkret geht es darum, den 3D-Raum mit zweidimensionalen Merkmalen auf drei orthogonalen Ebenenansichten der horizontalen, vertikalen und vertikalen Ebenen zu erweitern. Dadurch kann das RODIN-Modell nicht nur eine effiziente 2D-Architektur für die 3D-Wahrnehmungsdiffusion verwenden, sondern auch reduzieren Das 3D-Bild reduziert auch den Rechenaufwand und die Kosten erheblich.
△3D-Wahrnehmungsfaltung verarbeitet 3D-Merkmale effizient
Auf der linken Seite der obigen Abbildung wird eine Dreiebene verwendet, um den 3D-Raum auszudrücken. Zu diesem Zeitpunkt entsprechen die Merkmalspunkte der unteren Merkmalsebene den beiden Linien der anderen beiden Merkmalsebenen; Auf der rechten Seite der Abbildung oben wird die 3D-Wahrnehmungsfaltung eingeführt, um die erweiterte 2D-Merkmalsebene zu verarbeiten und dabei die dreidimensionale inhärente Entsprechung der drei Ebenen zu berücksichtigen.
Konkret sind drei Schlüsselelemente erforderlich, um die Generierung von 3D-Bildern zu erreichen:
Erstens stellt die 3D-bewusste Faltung die intrinsische Korrelation der drei Ebenen nach der Dimensionsreduktion sicher.Das in der herkömmlichen 2D-Diffusion verwendete 2D-Faltungs-Neuronale Netzwerk (CNN) verarbeitet Triplane-Feature-Maps nicht gut.
3D-fähige Faltung generiert nicht einfach drei 2D-Merkmalsebenen, sondern berücksichtigt bei der Verarbeitung solcher 3D-Ausdrücke ihre inhärenten dreidimensionalen Eigenschaften, das heißt, die 2D-Merkmale einer der drei Ansichtsebenen sind im Wesentlichen 3D-Raum Die Projektion einer Geraden Die Linie in der Ebene steht daher in Beziehung zu den entsprechenden geraden Projektionsmerkmalen in den anderen beiden Ebenen.
Um eine ebenenübergreifende Kommunikation zu erreichen, berücksichtigen Forscher solche 3D-Korrelationen in der Faltung und synthetisieren so 3D-Details effizient in 2D.
Zweitens Generation des dreidimensionalen 3D-Ausdrucks des Hidden-Space-Konzerts.
Forscher koordinieren die Merkmalsgenerierung durch latente Vektoren, um sie im gesamten dreidimensionalen Raum global konsistent zu machen, was zu qualitativ hochwertigeren Avataren und semantischer Bearbeitung führt.
Gleichzeitig wird auch ein zusätzlicher Bildencoder trainiert, indem die Bilder im Trainingsdatensatz verwendet werden, der semantische latente Vektoren als bedingte Eingaben für das Diffusionsmodell extrahieren kann.
Auf diese Weise kann das gesamte generative Netzwerk als Autoencoder betrachtet werden, der das Diffusionsmodell als dekodierenden latenten Raumvektor verwendet. Zur semantischen Bearbeitbarkeit verwendeten die Forscher einen eingefrorenen CLIP-Bild-Encoder, der den latenten Raum mit Textaufforderungen teilt.
Drittens erzeugt die hierarchische Synthese dreidimensionale Details mit hoher Wiedergabetreue.
Die Forscher verwendeten das Diffusionsmodell, um zunächst eine Drei-Ansichtsebene mit niedriger Auflösung (64×64) zu erzeugen, und erzeugten dann durch Diffusions-Upsampling eine hochauflösende Drei-Ansichtsebene (256×256).
Auf diese Weise konzentriert sich das grundlegende Diffusionsmodell auf die Generierung der gesamten 3D-Struktur, während sich das nachfolgende Upsampling-Modell auf die Detailgenerierung konzentriert.
Generieren Sie eine große Menge zufälliger Daten basierend auf Blender
Auf dem Trainingsdatensatz nutzten die Forscher die Open-Source-3D-Rendering-Software Blender, um von Künstlern manuell erstellte virtuelle 3D-Charakterbilder sowie eine große Anzahl von Haaren zufällig zu kombinieren. Kleidung, Gesichtsausdrücke und Accessoires und erstellte dann 100.000 synthetische Individuen, während für jedes Individuum 300 Mehrfachansichtsbilder mit einer Auflösung von 256*256 gerendert wurden.
Bei der Generierung von Text für 3D-Avatare verwendeten die Forscher die Porträt-Teilmenge des LAION-400M-Datensatzes, um die Zuordnung von der Eingabemodalität zum latenten Raum des 3D-Diffusionsmodells zu trainieren, und erlaubten schließlich die Verwendung des RODIN-Modells Mit nur einem 2D-Bild oder mit nur einer Textbeschreibung können Sie einen realistischen 3D-Avatar erstellen.
△Wenn Sie ein Foto erhalten, um einen Avatar zu generieren
, können Sie das Bild nicht nur in einem Satz ändern, z. B. „Ein Mann mit lockigem Haar und Bart, der eine schwarze Lederjacke trägt“:
Sie können sogar das Geschlecht nach Belieben ändern, „Frauen mit roter Kleidung und afrikanischen Frisuren“: (Manueller Hundekopf)
Die Forscher führten auch eine Anwendungsdemo vor, die nur ein paar Tasten erfordert:
△ Verwenden Sie Text, um eine 3D-Porträtbearbeitung zu erstellen
Für weitere Effekte können Sie auf die Projektadresse klicken, um sie anzuzeigen~
△Weitere zufällig generierte virtuelle Bilder
Nach der Erstellung von RODIN: Was kommt als nächstes für das Team? planen?
Laut den Autoren von Microsoft Research Asia konzentrieren sich RODINs aktuelle Arbeiten hauptsächlich auf 3D-Halbporträts, was auch damit zusammenhängt, dass für das Training hauptsächlich Gesichtsdaten verwendet werden, die Nachfrage nach 3D-Bilderzeugung jedoch nicht besteht auf menschliche Gesichter beschränkt.
Im nächsten Schritt wird das Team darüber nachdenken, RODIN-Modelle zu verwenden, um mehr 3D-Szenen zu erstellen, darunter Blumen, Bäume, Gebäude, Autos und Häuser usw., um das ultimative Ziel zu erreichen, „alles in 3D mit einem Modell zu generieren“. .
Papieradresse:
https://arxiv.org/abs/2212.06135
Projektseite:
https://3d-avatar-diffusion.microsoft.com
Das obige ist der detaillierte Inhalt vonEs dauert nur wenige Sekunden, ein Ausweisfoto in ein digitales Personenbild umzuwandeln. Microsoft hat den ersten hochwertigen Generierungseffekt eines 3D-Diffusionsmodells erreicht, und Sie können Ihr Erscheinungsbild und Ihr Erscheinungsbild in einem Satz ändern.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen

Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren

Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil

1. Einleitung In den letzten Jahren haben sich YOLOs aufgrund ihres effektiven Gleichgewichts zwischen Rechenkosten und Erkennungsleistung zum vorherrschenden Paradigma im Bereich der Echtzeit-Objekterkennung entwickelt. Forscher haben das Architekturdesign, die Optimierungsziele, Datenerweiterungsstrategien usw. von YOLO untersucht und erhebliche Fortschritte erzielt. Gleichzeitig behindert die Verwendung von Non-Maximum Suppression (NMS) bei der Nachbearbeitung die End-to-End-Bereitstellung von YOLO und wirkt sich negativ auf die Inferenzlatenz aus. In YOLOs fehlt dem Design verschiedener Komponenten eine umfassende und gründliche Prüfung, was zu erheblicher Rechenredundanz führt und die Fähigkeiten des Modells einschränkt. Es bietet eine suboptimale Effizienz und ein relativ großes Potenzial zur Leistungsverbesserung. Ziel dieser Arbeit ist es, die Leistungseffizienzgrenze von YOLO sowohl in der Nachbearbeitung als auch in der Modellarchitektur weiter zu verbessern. zu diesem Zweck

FP8 und die geringere Gleitkomma-Quantifizierungsgenauigkeit sind nicht länger das „Patent“ von H100! Lao Huang wollte, dass jeder INT8/INT4 nutzt, und das Microsoft DeepSpeed-Team begann, FP6 auf A100 ohne offizielle Unterstützung von NVIDIA auszuführen. Testergebnisse zeigen, dass die FP6-Quantisierung der neuen Methode TC-FPx auf A100 nahe an INT4 liegt oder gelegentlich schneller als diese ist und eine höhere Genauigkeit aufweist als letztere. Darüber hinaus gibt es eine durchgängige Unterstützung großer Modelle, die als Open-Source-Lösung bereitgestellt und in Deep-Learning-Inferenz-Frameworks wie DeepSpeed integriert wurde. Dieses Ergebnis wirkt sich auch unmittelbar auf die Beschleunigung großer Modelle aus – in diesem Rahmen ist der Durchsatz bei Verwendung einer einzelnen Karte zum Ausführen von Llama 2,65-mal höher als der von Doppelkarten. eins
