Heim Technologie-Peripheriegeräte KI Mit nur einem Bild und einem Aktionsbefehl kann Animate124 ganz einfach ein 3D-Video erstellen

Mit nur einem Bild und einem Aktionsbefehl kann Animate124 ganz einfach ein 3D-Video erstellen

Jan 12, 2024 am 11:12 AM
产业 3D-Videogenerierung

Animate124, verwandeln Sie ganz einfach ein einzelnes Bild in ein 3D-Video.

Im vergangenen Jahr hat DreamFusion einen neuen Trend angeführt, nämlich die Generierung statischer 3D-Objekte und -Szenen, der im Bereich der Generierungstechnologie große Aufmerksamkeit erregt hat. Wenn wir auf das vergangene Jahr zurückblicken, konnten wir erhebliche Fortschritte bei der Qualität und Kontrolle der 3D-Statikerzeugungstechnologie beobachten. Die Technologieentwicklung begann mit der textbasierten Generierung, wurde schrittweise in Einzelansichtsbilder integriert und entwickelte sich dann zur Integration mehrerer Steuersignale.

Im Vergleich dazu steckt die Generierung dynamischer 3D-Szenen noch in den Kinderschuhen. Anfang 2023 startete Meta MAV3D und markierte damit den ersten Versuch, 3D-Videos basierend auf Text zu generieren. Aufgrund des Mangels an Open-Source-Videogenerierungsmodellen waren die Fortschritte in diesem Bereich jedoch relativ langsam.

Jetzt wurde jedoch eine 3D-Videogenerierungstechnologie veröffentlicht, die auf der Kombination von Grafiken und Text basiert!

Obwohl die textbasierte 3D-Videogenerierung in der Lage ist, vielfältige Inhalte zu produzieren, gibt es immer noch Einschränkungen bei der Kontrolle der Details und Posen von Objekten. Im Bereich der statischen 3D-Generierung können 3D-Objekte mithilfe eines einzelnen Bildes als Eingabe effektiv rekonstruiert werden. Davon inspiriert schlug das Forschungsteam der National University of Singapore (NUS) und Huawei das Animate124-Modell vor. Dieses Modell kombiniert ein einzelnes Bild mit einer entsprechenden Aktionsbeschreibung, um eine präzise Steuerung der 3D-Videoerzeugung zu ermöglichen.

Mit nur einem Bild und einem Aktionsbefehl kann Animate124 ganz einfach ein 3D-Video erstellen

  • Projekthomepage: https://animate124.github.io/
  • Papieradresse: https://arxiv.org/abs/2311.14603
  • Code: https://github. com/HeliosZhao/Animate124 unterteilt die 3D-Videogenerierung in drei Phasen : 1) Statische Generierungsphase: Verwenden Sie das Vincentian-Graph- und 3D-Graph-Diffusionsmodell, um 3D-Objekte aus einem einzelnen Bild zu generieren. 2) Dynamische Grobgenerierungsphase: Verwenden Sie das Vincentian-Videomodell, um Aktionen gemäß der Sprachbeschreibung zu optimieren. Darüber hinaus wird die personalisierte Feinabstimmung von ControlNet verwendet, um die durch die Sprachbeschreibung der zweiten Stufe verursachten Abweichungen im Erscheinungsbild zu optimieren und zu verbessern. Abbildung 1: Gesamtrahmen Null – 1-zu-3
    ) Generieren Sie statische Objekte basierend auf Bildern:

Mit nur einem Bild und einem Aktionsbefehl kann Animate124 ganz einfach ein 3D-Video erstellen

Für die Perspektive, die dem bedingten Bild entspricht, verwenden Sie zusätzlich die Verlustfunktion zur Optimierung:
Durch die beiden oben genannten Optimierungsziele werden mehrere Perspektiven erhalten 3D-konsistente statische Objekte (dieser Schritt wird im Rahmendiagramm weggelassen).
Dynamische grobe Generierung

Diese Phase verwendet hauptsächlich das Mit nur einem Bild und einem Aktionsbefehl kann Animate124 ganz einfach ein 3D-Video erstellenVinson-Videodiffusionsmodell

, das statisches 3D als Ausgangsbild behandelt und Aktionen basierend auf Sprachbeschreibungen generiert. Insbesondere rendert das dynamische 3D-Modell (dynamisches NeRF) ein Multi-Frame-Video mit kontinuierlichen Zeitstempeln und gibt dieses Video in das Vincent-Videodiffusionsmodell ein, wobei der SDS-Destillationsverlust zur Optimierung des dynamischen 3D-Modells verwendet wird:
Nur mit Vincent Video Der Destillationsverlust führt dazu, dass das 3D-Modell den Inhalt des Bildes vergisst, und zufällige Stichproben führen zu unzureichendem Training in der Anfangs- und Endphase des Videos. Daher haben die Forscher in diesem Artikel die Start- und Endzeitstempel übermäßig abgetastet. Und beim Abtasten des Anfangsrahmens werden zusätzliche statische Funktionen zur Optimierung verwendet (SDS-Destillationsverlust von 3D-Diagrammen):

Daher lautet die Verlustfunktion in dieser Phase:

Mit nur einem Bild und einem Aktionsbefehl kann Animate124 ganz einfach ein 3D-Video erstellen

Semantische Optimierung

Selbst mit anfänglicher Frame-Überabtastung und zusätzlicher Überwachung wird während des Optimierungsprozesses mithilfe des Vincent-Videodiffusionsmodells das The des Objekts ermittelt Das Erscheinungsbild wird weiterhin durch den Text beeinflusst, der das Referenzbild versetzt. Daher schlägt dieser Artikel eine semantische Optimierungsphase vor, um den semantischen Offset durch ein personalisiertes Modell zu verbessern.

Da es nur ein einzelnes Bild gibt, kann das Vincent-Videomodell nicht personalisiert trainiert werden. In diesem Artikel wird ein auf Bildern und Text basierendes Diffusionsmodell vorgestellt und eine personalisierte Feinabstimmung dieses Diffusionsmodells durchgeführt. Dieses Verbreitungsmodell soll den Inhalt und die Aktionen des Originalvideos nicht verändern, sondern lediglich das Erscheinungsbild anpassen. Daher übernimmt dieser Artikel das ControlNet-Tile-Grafikmodell, verwendet die in der vorherigen Phase generierten Videobilder als Bedingungen und optimiert entsprechend der Sprache. ControlNet basiert auf dem Stable Diffusion-Modell. Es muss lediglich eine personalisierte Feinabstimmung (Textinversion) der Stable Diffusion durchgeführt werden, um die semantischen Informationen im Referenzbild zu extrahieren. Behandeln Sie das Video nach der personalisierten Feinabstimmung als Mehrbildbild und verwenden Sie ControlNet, um ein einzelnes Bild zu überwachen:

Mit nur einem Bild und einem Aktionsbefehl kann Animate124 ganz einfach ein 3D-Video erstellen

Da ControlNet außerdem grobe Bilder als Bedingungen verwendet, kann die klassifikatorfreie Führung (CFG) verwendet werden Normalbereich (10 links und rechts), anstatt einen sehr großen Wert (normalerweise 100) wie beim Vincentian-Diagramm und den Vincentian-Videomodellen zu verwenden. Ein zu großer CFG führt zu einer Übersättigung des Bildes. Daher kann die Verwendung des ControlNet-Diffusionsmodells das Übersättigungsphänomen lindern und bessere Generierungsergebnisse erzielen. Die Überwachung dieser Phase wird durch den dynamischen Phasenverlust und die ControlNet-Überwachung kombiniert:

Mit nur einem Bild und einem Aktionsbefehl kann Animate124 ganz einfach ein 3D-Video erstellen

Experimentelle Ergebnisse

Als erstes Bild-Text-basiertes 3D-Videogenerierungsmodell wird dieser Artikel mit zwei Basislinien verglichen Modelle und MAV3D wurden verglichen. Animate124 liefert im Vergleich zu anderen Methoden bessere Ergebnisse. Vergleich der visuellen Ergebnisse 3D Vincent 3D-Video

Abbildung 3.1. Genauigkeit, Ähnlichkeit mit Bildern und zeitliche Konsistenz. Zu den manuellen Bewertungsindikatoren gehören Textähnlichkeit, Bildähnlichkeit, Videoqualität, Bewegungsrealismus und Bewegungsamplitude. Die manuelle Bewertung wird durch das Verhältnis eines einzelnen Modells zur Auswahl von Animate124 für die entsprechende Metrik dargestellt.

Mit nur einem Bild und einem Aktionsbefehl kann Animate124 ganz einfach ein 3D-Video erstellen

Im Vergleich zu den beiden Basismodellen erzielt Animate124 sowohl bei der CLIP- als auch bei der manuellen Auswertung bessere Ergebnisse. Tabelle 1: Quantitativer Vergleich zwischen Animate124 und zwei Basislinien 3D basierend auf Textbeschreibung Videomethode. Es verwendet mehrere Diffusionsmodelle zur Überwachung und Anleitung und optimiert das dynamische 4D-Darstellungsnetzwerk, um hochwertige 3D-Videos zu generieren.

Das obige ist der detaillierte Inhalt vonMit nur einem Bild und einem Aktionsbefehl kann Animate124 ganz einfach ein 3D-Video erstellen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Repo: Wie man Teamkollegen wiederbelebt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Abenteuer: Wie man riesige Samen bekommt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Der DeepMind-Roboter spielt Tischtennis und seine Vor- und Rückhand rutschen in die Luft, wodurch menschliche Anfänger völlig besiegt werden Der DeepMind-Roboter spielt Tischtennis und seine Vor- und Rückhand rutschen in die Luft, wodurch menschliche Anfänger völlig besiegt werden Aug 09, 2024 pm 04:01 PM

Aber vielleicht kann er den alten Mann im Park nicht besiegen? Die Olympischen Spiele in Paris sind in vollem Gange und Tischtennis hat viel Aufmerksamkeit erregt. Gleichzeitig haben Roboter auch beim Tischtennisspielen neue Durchbrüche erzielt. Gerade hat DeepMind den ersten lernenden Roboteragenten vorgeschlagen, der das Niveau menschlicher Amateurspieler im Tischtennis-Wettkampf erreichen kann. Papieradresse: https://arxiv.org/pdf/2408.03906 Wie gut ist der DeepMind-Roboter beim Tischtennisspielen? Vermutlich auf Augenhöhe mit menschlichen Amateurspielern: Sowohl Vorhand als auch Rückhand: Der Gegner nutzt unterschiedliche Spielstile, und auch der Roboter hält aus: Aufschlagannahme mit unterschiedlichem Spin: Allerdings scheint die Intensität des Spiels nicht so intensiv zu sein wie Der alte Mann im Park. Für Roboter, Tischtennis

Claude ist auch faul geworden! Netizen: Lernen Sie, sich einen Urlaub zu gönnen Claude ist auch faul geworden! Netizen: Lernen Sie, sich einen Urlaub zu gönnen Sep 02, 2024 pm 01:56 PM

Der Schulstart steht vor der Tür und nicht nur die Schüler, die bald ins neue Semester starten, sollten auf sich selbst aufpassen, sondern auch die großen KI-Modelle. Vor einiger Zeit war Reddit voller Internetnutzer, die sich darüber beschwerten, dass Claude faul werde. „Sein Niveau ist stark gesunken, es kommt oft zu Pausen und sogar die Ausgabe wird sehr kurz. In der ersten Woche der Veröffentlichung konnte es ein komplettes 4-seitiges Dokument auf einmal übersetzen, aber jetzt kann es nicht einmal eine halbe Seite ausgeben.“ !

Die erste mechanische Klaue! Yuanluobao trat auf der Weltroboterkonferenz 2024 auf und stellte den ersten Schachroboter vor, der das Haus betreten kann Die erste mechanische Klaue! Yuanluobao trat auf der Weltroboterkonferenz 2024 auf und stellte den ersten Schachroboter vor, der das Haus betreten kann Aug 21, 2024 pm 07:33 PM

Am 21. August fand in Peking die Weltroboterkonferenz 2024 im großen Stil statt. Die Heimrobotermarke „Yuanluobot SenseRobot“ von SenseTime hat ihre gesamte Produktfamilie vorgestellt und kürzlich den Yuanluobot AI-Schachspielroboter – Chess Professional Edition (im Folgenden als „Yuanluobot SenseRobot“ bezeichnet) herausgebracht und ist damit der weltweit erste A-Schachroboter für heim. Als drittes schachspielendes Roboterprodukt von Yuanluobo hat der neue Guoxiang-Roboter eine Vielzahl spezieller technischer Verbesserungen und Innovationen in den Bereichen KI und Maschinenbau erfahren und erstmals die Fähigkeit erkannt, dreidimensionale Schachfiguren aufzunehmen B. durch mechanische Klauen an einem Heimroboter, und führen Sie Mensch-Maschine-Funktionen aus, z. B. Schach spielen, jeder spielt Schach, Überprüfung der Notation usw.

Auf der Weltroboterkonferenz wurde dieser Haushaltsroboter, der „die Hoffnung auf eine zukünftige Altenpflege' in sich trägt, umzingelt Auf der Weltroboterkonferenz wurde dieser Haushaltsroboter, der „die Hoffnung auf eine zukünftige Altenpflege' in sich trägt, umzingelt Aug 22, 2024 pm 10:35 PM

Auf der World Robot Conference in Peking ist die Präsentation humanoider Roboter zum absoluten Mittelpunkt der Szene geworden. Am Stand von Stardust Intelligent führte der KI-Roboterassistent S1 drei große Darbietungen mit Hackbrett, Kampfkunst und Kalligraphie auf Ein Ausstellungsbereich, der sowohl Literatur als auch Kampfkunst umfasst, zog eine große Anzahl von Fachpublikum und Medien an. Durch das elegante Spiel auf den elastischen Saiten demonstriert der S1 eine feine Bedienung und absolute Kontrolle mit Geschwindigkeit, Kraft und Präzision. CCTV News führte einen Sonderbericht über das Nachahmungslernen und die intelligente Steuerung hinter „Kalligraphie“ durch. Firmengründer Lai Jie erklärte, dass hinter den seidenweichen Bewegungen die Hardware-Seite die beste Kraftkontrolle und die menschenähnlichsten Körperindikatoren (Geschwindigkeit, Belastung) anstrebt. usw.), aber auf der KI-Seite werden die realen Bewegungsdaten von Menschen gesammelt, sodass der Roboter stärker werden kann, wenn er auf eine schwierige Situation stößt, und lernen kann, sich schnell weiterzuentwickeln. Und agil

Das Team von Li Feifei schlug ReKep vor, um Robotern räumliche Intelligenz zu verleihen und GPT-4o zu integrieren Das Team von Li Feifei schlug ReKep vor, um Robotern räumliche Intelligenz zu verleihen und GPT-4o zu integrieren Sep 03, 2024 pm 05:18 PM

Tiefe Integration von Vision und Roboterlernen. Wenn zwei Roboterhände reibungslos zusammenarbeiten, um Kleidung zu falten, Tee einzuschenken und Schuhe zu packen, gepaart mit dem humanoiden 1X-Roboter NEO, der in letzter Zeit für Schlagzeilen gesorgt hat, haben Sie vielleicht das Gefühl: Wir scheinen in das Zeitalter der Roboter einzutreten. Tatsächlich sind diese seidigen Bewegungen das Produkt fortschrittlicher Robotertechnologie + exquisitem Rahmendesign + multimodaler großer Modelle. Wir wissen, dass nützliche Roboter oft komplexe und exquisite Interaktionen mit der Umgebung erfordern und die Umgebung als Einschränkungen im räumlichen und zeitlichen Bereich dargestellt werden kann. Wenn Sie beispielsweise möchten, dass ein Roboter Tee einschenkt, muss der Roboter zunächst den Griff der Teekanne ergreifen und sie aufrecht halten, ohne den Tee zu verschütten, und ihn dann sanft bewegen, bis die Öffnung der Kanne mit der Öffnung der Tasse übereinstimmt , und neigen Sie dann die Teekanne in einem bestimmten Winkel. Das

Bekanntgabe der ACL 2024 Awards: Eines der besten Papers zum Thema Oracle Deciphering von HuaTech, GloVe Time Test Award Bekanntgabe der ACL 2024 Awards: Eines der besten Papers zum Thema Oracle Deciphering von HuaTech, GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

Bei dieser ACL-Konferenz haben die Teilnehmer viel gewonnen. Die sechstägige ACL2024 findet in Bangkok, Thailand, statt. ACL ist die führende internationale Konferenz im Bereich Computerlinguistik und Verarbeitung natürlicher Sprache. Sie wird von der International Association for Computational Linguistics organisiert und findet jährlich statt. ACL steht seit jeher an erster Stelle, wenn es um akademischen Einfluss im Bereich NLP geht, und ist außerdem eine von der CCF-A empfohlene Konferenz. Die diesjährige ACL-Konferenz ist die 62. und hat mehr als 400 innovative Arbeiten im Bereich NLP eingereicht. Gestern Nachmittag gab die Konferenz den besten Vortrag und weitere Auszeichnungen bekannt. Diesmal gibt es 7 Best Paper Awards (zwei davon unveröffentlicht), 1 Best Theme Paper Award und 35 Outstanding Paper Awards. Die Konferenz verlieh außerdem drei Resource Paper Awards (ResourceAward) und einen Social Impact Award (

Hongmeng Smart Travel S9 und die umfassende Einführungskonferenz für neue Produkte wurden gemeinsam mit einer Reihe neuer Blockbuster-Produkte veröffentlicht Hongmeng Smart Travel S9 und die umfassende Einführungskonferenz für neue Produkte wurden gemeinsam mit einer Reihe neuer Blockbuster-Produkte veröffentlicht Aug 08, 2024 am 07:02 AM

Heute Nachmittag begrüßte Hongmeng Zhixing offiziell neue Marken und neue Autos. Am 6. August veranstaltete Huawei die Hongmeng Smart Xingxing S9 und die Huawei-Konferenz zur Einführung neuer Produkte mit umfassendem Szenario und brachte die Panorama-Smart-Flaggschiff-Limousine Xiangjie S9, das neue M7Pro und Huawei novaFlip, MatePad Pro 12,2 Zoll, das neue MatePad Air und Huawei Bisheng mit Mit vielen neuen Smart-Produkten für alle Szenarien, darunter die Laserdrucker der X1-Serie, FreeBuds6i, WATCHFIT3 und der Smart Screen S5Pro, von Smart Travel über Smart Office bis hin zu Smart Wear baut Huawei weiterhin ein Smart-Ökosystem für alle Szenarien auf, um Verbrauchern ein Smart-Erlebnis zu bieten Internet von allem. Hongmeng Zhixing: Huawei arbeitet mit chinesischen Partnern aus der Automobilindustrie zusammen, um die Modernisierung der Smart-Car-Industrie voranzutreiben

Das erste große UI-Modell in China wird veröffentlicht! Das große Modell von Motiff ist der beste Assistent für Designer und optimiert den UI-Design-Workflow Das erste große UI-Modell in China wird veröffentlicht! Das große Modell von Motiff ist der beste Assistent für Designer und optimiert den UI-Design-Workflow Aug 19, 2024 pm 04:48 PM

Künstliche Intelligenz entwickelt sich schneller, als Sie sich vorstellen können. Seit GPT-4 die multimodale Technologie in die Öffentlichkeit gebracht hat, sind multimodale Großmodelle in eine Phase rasanter Entwicklung eingetreten, die sich allmählich von der reinen Modellforschung und -entwicklung hin zur Erforschung und Anwendung in vertikalen Bereichen verlagert und tief in alle Lebensbereiche integriert ist. Im Bereich der Schnittstelleninteraktion haben internationale Technologiegiganten wie Google und Apple in die Forschung und Entwicklung großer multimodaler UI-Modelle investiert, die als einziger Weg für die KI-Revolution im Mobiltelefon gelten. In diesem Zusammenhang wurde das erste groß angelegte UI-Modell in China geboren. Am 17. August stellte Motiff, ein Designtool im KI-Zeitalter, auf der IXDC2024 International Experience Design Conference sein unabhängig entwickeltes multimodales UI-Modell vor – das Motiff Model. Dies ist das weltweit erste UI-Design-Tool

See all articles