


Die vielversprechendste Folge für hochwertige 3D-Generierung? GaussianCube übertrifft NeRF in der 3D-Generierung um Längen

Die AIxiv-Kolumne dieser Website ist eine Kolumne, die akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. E-Mail-Adresse: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com.
Papiername: GaussianCube: A Structured and Explicit Radiance Representation for 3D Generative Modeling Projekthomepage: https://gaussiancube.github.io/ -
Link zum Papier: https://arxiv.org/ pdf/2403.19655 In welchem Alter verwenden Sie noch traditionelles NeRF für die generative 3D-Modellierung? - Die meisten bisherigen generativen 3D-Modellierungsarbeiten verwendeten eine Variante des Neural Radiance Field (NeRF) als zugrunde liegende 3D-Darstellung, die normalerweise eine explizite strukturierte Merkmalsdarstellung und einen impliziten Merkmalsdecoder kombiniert. Bei der generativen 3D-Modellierung müssen jedoch alle 3D-Objekte denselben impliziten Feature-Decoder verwenden, was die Anpassungsfähigkeit von NeRF erheblich schwächt. Darüber hinaus weist die Volumen-Rendering-Technologie, auf die NeRF setzt, eine sehr hohe Rechenkomplexität auf, was zu einer langsamen Rendering-Geschwindigkeit und einem extrem hohen GPU-Speicherverbrauch führt. In jüngster Zeit hat eine weitere dreidimensionale Darstellungsmethode, 3D Gaussian Splatting (3DGS), große Aufmerksamkeit erregt. Obwohl 3DGS über leistungsstarke Anpassungsfunktionen, effiziente Rechenleistung und vollständig explizite Funktionen verfügt, wird es häufig bei dreidimensionalen Rekonstruktionsaufgaben eingesetzt. Allerdings fehlt 3DGS eine klar definierte räumliche Struktur, weshalb es nicht direkt in aktuellen Mainstream-Frameworks für die generative Modellierung angewendet werden kann.
Methode
Unter der Annahme, dass die aktuelle Iteration
zu erreichen, ohne die Rendering-Ergebnisse zu beeinträchtigen. Dank dieser Strategie kann eine qualitativ hochwertige Darstellung mit mehreren Größenordnungen weniger Parametern im Vergleich zu bestehenden Arbeiten ähnlicher Qualität erreicht werden, wodurch die Modellierungsschwierigkeiten von Diffusionsmodellen erheblich reduziert werden.



Die Forscher modellierten es als optimales Übertragungsproblem, verwendeten den Jonker-Volgenant-Algorithmus, um die entsprechende Zuordnungsbeziehung zu erhalten, und organisierten dann die Gaußschen Operatoren gemäß der optimalen Übertragungslösung in entsprechende Voxel, um GaussianCube zu erhalten, und ersetzten die Position des ursprünglichen Gaußschen mit dem Versatz des aktuellen Voxelzentrums, um den Lösungsraum des Diffusionsmodells zu reduzieren. Die endgültige GaussianCube-Darstellung ist nicht nur strukturiert, sondern behält auch die strukturelle Beziehung zwischen benachbarten Gaußschen Operatoren weitestgehend bei, was eine starke Unterstützung für eine effiziente Merkmalsextraktion für die generative 3D-Modellierung bietet.
In der dreidimensionalen Diffusionsphase verwendet dieser Artikel ein dreidimensionales Diffusionsmodell, um die Verteilung von GaussianCube zu modellieren. Dank der räumlich strukturierten Organisation von GaussianCube reicht die standardmäßige 3D-Faltung aus, um Merkmale benachbarter Gauß-Funktionen effektiv zu extrahieren und zu aggregieren, ohne dass komplexe Netzwerk- oder Trainingsdesigns erforderlich sind. Daher nutzten die Forscher die standardmäßige U-Net-Netzwerkverbreitung und ersetzten die ursprünglichen 2D-Operatoren (einschließlich Faltung, Aufmerksamkeit, Upsampling und Downsampling) direkt durch ihre 3D-Implementierungen.
Das dreidimensionale Diffusionsmodell dieses Artikels unterstützt auch eine Vielzahl von Bedingungssignalen zur Steuerung des Generierungsprozesses, einschließlich der Generierung von Kategoriebeschriftungsbedingungen, der Erstellung digitaler Avatare basierend auf Bildbedingungen und der Generierung dreidimensionaler digitaler Assets basierend auf Bildbedingungen Text. Die auf multimodalen Bedingungen basierende Generierungsfähigkeit erweitert den Anwendungsbereich des Modells erheblich und bietet ein leistungsstarkes Werkzeug für die zukünftige Erstellung von 3D-Inhalten.
zeigt an, dass verschiedene Objekte implizite Feature-Decoder gemeinsam nutzen. Alle Methoden werden mit 30.000 Iterationen ausgewertet. Abbildung 8. Visueller Vergleich der Anpassungsmöglichkeiten verschiedener 3D-Darstellungen auf ShapeNet Car. ∗ zeigt an, dass verschiedene Objekte implizite Feature-Decoder gemeinsam nutzen. Alle Methoden werden mit 30.000 Iterationen ausgewertet.
Das obige ist der detaillierte Inhalt vonDie vielversprechendste Folge für hochwertige 3D-Generierung? GaussianCube übertrifft NeRF in der 3D-Generierung um Längen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen











Aber vielleicht kann er den alten Mann im Park nicht besiegen? Die Olympischen Spiele in Paris sind in vollem Gange und Tischtennis hat viel Aufmerksamkeit erregt. Gleichzeitig haben Roboter auch beim Tischtennisspielen neue Durchbrüche erzielt. Gerade hat DeepMind den ersten lernenden Roboteragenten vorgeschlagen, der das Niveau menschlicher Amateurspieler im Tischtennis-Wettkampf erreichen kann. Papieradresse: https://arxiv.org/pdf/2408.03906 Wie gut ist der DeepMind-Roboter beim Tischtennisspielen? Vermutlich auf Augenhöhe mit menschlichen Amateurspielern: Sowohl Vorhand als auch Rückhand: Der Gegner nutzt unterschiedliche Spielstile, und auch der Roboter hält aus: Aufschlagannahme mit unterschiedlichem Spin: Allerdings scheint die Intensität des Spiels nicht so intensiv zu sein wie Der alte Mann im Park. Für Roboter, Tischtennis

Am 21. August fand in Peking die Weltroboterkonferenz 2024 im großen Stil statt. Die Heimrobotermarke „Yuanluobot SenseRobot“ von SenseTime hat ihre gesamte Produktfamilie vorgestellt und kürzlich den Yuanluobot AI-Schachspielroboter – Chess Professional Edition (im Folgenden als „Yuanluobot SenseRobot“ bezeichnet) herausgebracht und ist damit der weltweit erste A-Schachroboter für heim. Als drittes schachspielendes Roboterprodukt von Yuanluobo hat der neue Guoxiang-Roboter eine Vielzahl spezieller technischer Verbesserungen und Innovationen in den Bereichen KI und Maschinenbau erfahren und erstmals die Fähigkeit erkannt, dreidimensionale Schachfiguren aufzunehmen B. durch mechanische Klauen an einem Heimroboter, und führen Sie Mensch-Maschine-Funktionen aus, z. B. Schach spielen, jeder spielt Schach, Überprüfung der Notation usw.

Der Schulstart steht vor der Tür und nicht nur die Schüler, die bald ins neue Semester starten, sollten auf sich selbst aufpassen, sondern auch die großen KI-Modelle. Vor einiger Zeit war Reddit voller Internetnutzer, die sich darüber beschwerten, dass Claude faul werde. „Sein Niveau ist stark gesunken, es kommt oft zu Pausen und sogar die Ausgabe wird sehr kurz. In der ersten Woche der Veröffentlichung konnte es ein komplettes 4-seitiges Dokument auf einmal übersetzen, aber jetzt kann es nicht einmal eine halbe Seite ausgeben.“ !

Auf der World Robot Conference in Peking ist die Präsentation humanoider Roboter zum absoluten Mittelpunkt der Szene geworden. Am Stand von Stardust Intelligent führte der KI-Roboterassistent S1 drei große Darbietungen mit Hackbrett, Kampfkunst und Kalligraphie auf Ein Ausstellungsbereich, der sowohl Literatur als auch Kampfkunst umfasst, zog eine große Anzahl von Fachpublikum und Medien an. Durch das elegante Spiel auf den elastischen Saiten demonstriert der S1 eine feine Bedienung und absolute Kontrolle mit Geschwindigkeit, Kraft und Präzision. CCTV News führte einen Sonderbericht über das Nachahmungslernen und die intelligente Steuerung hinter „Kalligraphie“ durch. Firmengründer Lai Jie erklärte, dass hinter den seidenweichen Bewegungen die Hardware-Seite die beste Kraftkontrolle und die menschenähnlichsten Körperindikatoren (Geschwindigkeit, Belastung) anstrebt. usw.), aber auf der KI-Seite werden die realen Bewegungsdaten von Menschen gesammelt, sodass der Roboter stärker werden kann, wenn er auf eine schwierige Situation stößt, und lernen kann, sich schnell weiterzuentwickeln. Und agil

Bei dieser ACL-Konferenz haben die Teilnehmer viel gewonnen. Die sechstägige ACL2024 findet in Bangkok, Thailand, statt. ACL ist die führende internationale Konferenz im Bereich Computerlinguistik und Verarbeitung natürlicher Sprache. Sie wird von der International Association for Computational Linguistics organisiert und findet jährlich statt. ACL steht seit jeher an erster Stelle, wenn es um akademischen Einfluss im Bereich NLP geht, und ist außerdem eine von der CCF-A empfohlene Konferenz. Die diesjährige ACL-Konferenz ist die 62. und hat mehr als 400 innovative Arbeiten im Bereich NLP eingereicht. Gestern Nachmittag gab die Konferenz den besten Vortrag und weitere Auszeichnungen bekannt. Diesmal gibt es 7 Best Paper Awards (zwei davon unveröffentlicht), 1 Best Theme Paper Award und 35 Outstanding Paper Awards. Die Konferenz verlieh außerdem drei Resource Paper Awards (ResourceAward) und einen Social Impact Award (

Tiefe Integration von Vision und Roboterlernen. Wenn zwei Roboterhände reibungslos zusammenarbeiten, um Kleidung zu falten, Tee einzuschenken und Schuhe zu packen, gepaart mit dem humanoiden 1X-Roboter NEO, der in letzter Zeit für Schlagzeilen gesorgt hat, haben Sie vielleicht das Gefühl: Wir scheinen in das Zeitalter der Roboter einzutreten. Tatsächlich sind diese seidigen Bewegungen das Produkt fortschrittlicher Robotertechnologie + exquisitem Rahmendesign + multimodaler großer Modelle. Wir wissen, dass nützliche Roboter oft komplexe und exquisite Interaktionen mit der Umgebung erfordern und die Umgebung als Einschränkungen im räumlichen und zeitlichen Bereich dargestellt werden kann. Wenn Sie beispielsweise möchten, dass ein Roboter Tee einschenkt, muss der Roboter zunächst den Griff der Teekanne ergreifen und sie aufrecht halten, ohne den Tee zu verschütten, und ihn dann sanft bewegen, bis die Öffnung der Kanne mit der Öffnung der Tasse übereinstimmt , und neigen Sie dann die Teekanne in einem bestimmten Winkel. Das

Einleitung zur Konferenz Mit der rasanten Entwicklung von Wissenschaft und Technologie ist künstliche Intelligenz zu einer wichtigen Kraft bei der Förderung des sozialen Fortschritts geworden. In dieser Zeit haben wir das Glück, die Innovation und Anwendung der verteilten künstlichen Intelligenz (DAI) mitzuerleben und daran teilzuhaben. Verteilte Künstliche Intelligenz ist ein wichtiger Zweig des Gebiets der Künstlichen Intelligenz, der in den letzten Jahren immer mehr Aufmerksamkeit erregt hat. Durch die Kombination des leistungsstarken Sprachverständnisses und der Generierungsfähigkeiten großer Modelle sind plötzlich Agenten aufgetaucht, die auf natürlichen Sprachinteraktionen, Wissensbegründung, Aufgabenplanung usw. basieren. AIAgent übernimmt das große Sprachmodell und ist zu einem heißen Thema im aktuellen KI-Kreis geworden. Au

Heute Nachmittag begrüßte Hongmeng Zhixing offiziell neue Marken und neue Autos. Am 6. August veranstaltete Huawei die Hongmeng Smart Xingxing S9 und die Huawei-Konferenz zur Einführung neuer Produkte mit umfassendem Szenario und brachte die Panorama-Smart-Flaggschiff-Limousine Xiangjie S9, das neue M7Pro und Huawei novaFlip, MatePad Pro 12,2 Zoll, das neue MatePad Air und Huawei Bisheng mit Mit vielen neuen Smart-Produkten für alle Szenarien, darunter die Laserdrucker der X1-Serie, FreeBuds6i, WATCHFIT3 und der Smart Screen S5Pro, von Smart Travel über Smart Office bis hin zu Smart Wear baut Huawei weiterhin ein Smart-Ökosystem für alle Szenarien auf, um Verbrauchern ein Smart-Erlebnis zu bieten Internet von allem. Hongmeng Zhixing: Huawei arbeitet mit chinesischen Partnern aus der Automobilindustrie zusammen, um die Modernisierung der Smart-Car-Industrie voranzutreiben
