


Machen Sie die 3D-Bearbeitung so einfach wie PS: Der neue Algorithmus GaussianEditor kann das Hinzufügen, Löschen und Ändern von 3D-Szenen in wenigen Minuten abschließen
3D-Bearbeitung spielt in Bereichen wie Spielen und virtueller Realität eine wichtige Rolle. Die bisherige 3D-Bearbeitung litt jedoch unter Problemen wie langem Zeitaufwand und schlechter Steuerbarkeit, was die Anwendung auf tatsächliche Szenen erschwerte. Kürzlich haben die Nanyang Technological University, die Tsinghua University und SenseTime einen neuen 3D-Bearbeitungsalgorithmus, GaussianEditor, vorgeschlagen, der erstmals eine kontrollierbare und abwechslungsreiche Bearbeitung von 3D-Szenen in 2–7 Minuten ermöglicht und damit frühere 3D-Bearbeitungsarbeiten völlig übertrifft.
In den letzten Jahren konzentrierte sich die Forschung im Bereich der 3D-Bearbeitung generell auf neuronale Strahlungsfelder (NeRF). Dies liegt daran, dass NeRF nicht nur eine 3D-Szenenmodellierung mit einem hohen Maß an Genauigkeit durchführen kann, sondern seine impliziten Eigenschaften auch die Skalierbarkeit erheblich verbessern, was erhebliche Vorteile gegenüber herkömmlichen Punktwolken- und Netzmethoden bietet. Allerdings ist NeRF zur Kodierung von Szenendaten auf hochdimensionale mehrschichtige Perzeptronnetzwerke (MLP) angewiesen, was auch gewisse Einschränkungen mit sich bringt. Dies erschwert die direkte Änderung bestimmter Teile einer Szene und erhöht die Komplexität von Aufgaben wie Bildwiederherstellung und Szenenkomposition. Diese Komplexität wirkt sich nicht nur auf den Trainingsprozess aus, sondern schränkt auch seinen Einsatz in praktischen Anwendungen ein.
GaussianEditor Um die oben genannten Probleme zu lösen, wählte es einen neuen Ansatz und wählte Gaußsches Sputtern als 3D-Darstellung. Gaußsches Splatting ist eine neue Art der 3D-Darstellung, die vor einem halben Jahr vorgeschlagen wurde. Diese Darstellung hat NeRF in vielen 3D-Aufgaben wie der 3D- und 4D-Rekonstruktion übertroffen. Sie hat im 3D-Bereich sofort große Aufmerksamkeit erregt und ist eine davon die größten Durchbrüche im 3D-Bereich in diesem Jahr. Gaussian Splatting hat hervorragende Aussichten und Potenzial, und GaussianEditor ist der erste, der die Bearbeitung dieser 3D-Darstellung implementiert. Das Projekt ist Open Source und bietet eine WebUI-Schnittstelle zum einfachen Erlernen und Verwenden.
- Papieradresse: https://arxiv.org/abs/2311.14521
- Homepage-Adresse: https://buaacyw.github.io/gaussian-editor/
Obwohl Gaussian Gaussian Splatting verfügt über einen effizienten Rendering-Algorithmus, dessen Bearbeitung als Anzeigedarstellung jedoch erhebliche Herausforderungen mit sich bringt. Ein großes Problem ist der Mangel an effizienten Methoden zur genauen Identifizierung von Bearbeitungszielen, die für eine präzise und kontrollierbare Bearbeitung von entscheidender Bedeutung sind. Darüber hinaus hat sich gezeigt, dass die Optimierung des Gaußschen Sprühens (GS) unter Verwendung hochstochastischer generativer Führung, wie beispielsweise generativer Diffusionsmodelle wie Stable Diffusion, erhebliche Herausforderungen mit sich bringt. Dies kann daran liegen, dass GS im Gegensatz zur impliziten Darstellung der Pufferung neuronaler Netzwerke direkt von der Zufälligkeit des Verlusts beeinflusst wird. Diese direkte Exposition führt zu instabilen Aktualisierungen und die Eigenschaften von Gaußschen Punkten ändern sich direkt während des Trainings. Darüber hinaus kann jeder Trainingsschritt von GS die Aktualisierung einer großen Anzahl von Gaußschen Punkten beinhalten, und dieser Prozess verfügt nicht über einen Puffermechanismus im Stil eines neuronalen Netzwerks. Diese Probleme führen zu einer übermäßigen Fluidität von GS und behindern seine Konvergenz zu guten Ergebnissen wie der impliziten Darstellung im Training ) präzise Steuerung. Die Gaußsche semantische Verfolgung kann immer Gaußsche Punkte identifizieren, die während des Trainingsprozesses bearbeitet werden müssen. Dies unterscheidet sich von herkömmlichen 3D-Bearbeitungsmethoden, die häufig auf statischen 2D- oder 3D-Masken basieren. Da sich die Geometrie und das Erscheinungsbild des 3D-Modells während des Trainings ändern, werden diese Masken nach und nach unwirksam. Die gaußsche semantische Verfolgung ermöglicht die Verfolgung während des gesamten Trainingsprozesses, indem 2D-Segmentierungsmasken auf 3D-Gauß-Punkte projiziert und jedem Gauß-Punkt semantische Beschriftungen zugewiesen werden. Da sich die Gaußschen Punkte während des Trainings ändern, ermöglichen diese semantischen Bezeichnungen die Verfolgung spezifischer Gaußscher Zielpunkte. Der Gaußsche semantische Tracking-Algorithmus stellt sicher, dass nur Zielbereiche geändert werden, was eine präzise und kontrollierte Bearbeitung ermöglicht.
Der rote Bereich im Bild unten ist der verfolgte Zielbereich. Der semantische Trackingbereich wird mit dem Trainingsprozess dynamisch aktualisiert, um seine Wirksamkeit sicherzustellen.
Um die große Herausforderung des Gaußschen Splattings (GS) zu bewältigen, bei dem es schwierig ist, gute Ergebnisse zu erzielen, wenn es stark zufällig generiert wird, übernimmt GaussinEditor außerdem eine neue GS-Darstellung: Hierarchisches Gaußsches Splatting (HGS). In HGS werden Gaußsche Punkte basierend auf ihrer Verdichtungsreihenfolge während des Trainings in verschiedene Generationen eingeteilt. Gaußsche Punkte, die bei früheren Verdichtungsprozessen entstanden sind, gelten als ältere Generationen und unterliegen strengeren Beschränkungen mit dem Ziel, ihren ursprünglichen Zustand beizubehalten und ihre Mobilität zu verringern. Im Gegensatz dazu werden Gaußsche Punkte, die in späteren Stadien gebildet werden, als jüngere Generationen behandelt und unterliegen weniger oder keinen Einschränkungen zur Verbesserung ihrer Fitness. Das Design von HGS reguliert effektiv die Mobilität von GS, indem es älteren Generationen Einschränkungen auferlegt und gleichzeitig die Flexibilität neuerer Generationen beibehält. Dieser Ansatz ermöglicht eine kontinuierliche Optimierung in Richtung besserer Ergebnisse, indem die Pufferfunktion in der impliziten Darstellung simuliert wird, die durch neuronale Netze implementiert wird Darstellung. Im Hinblick auf die Ziellöschung entwickelte das Team einen speziellen lokalen Reparaturalgorithmus, der Artefakte an der Schnittstelle zwischen Objekt und Szene effektiv eliminiert. Was das Hinzufügen von Zielen betrifft, kann GaussianEditor basierend auf einer vom Benutzer bereitgestellten Textaufforderung und 2D-Maske bestimmte Ziele zu bestimmten Bereichen hinzufügen. GaussianEditor generiert zunächst mit Hilfe des 2D-Bild-Inpainting-Algorithmus ein Einzelansichtsbild des hinzuzufügenden Objekts. Dieses Bild wird dann mithilfe des Image to 3D-Algorithmus in ein 3D-GS umgewandelt. Abschließend wird das Ziel in die Gaußsche Szene integriert.
In Vergleichsexperimenten übertraf GaussianEditor frühere Arbeiten deutlich in Bezug auf visuelle Qualität, quantitative Indikatoren, Kontrollierbarkeit und Generierungsgeschwindigkeit vorgeschlagene Gaußsche semantische Verfolgung und hierarchische Gaußsche Darstellung
GaussianEditor ist ein fortschrittlicher 3D-Bearbeitungsalgorithmus, der sich auf die flexible und schnelle Bearbeitung von 3D-Szenen konzentriert und erstmals einen Editor für Gaußsches Sputtern bietet.
Zu den Hauptmerkmalen dieses Algorithmus gehören:
Gaußsche semantische Verfolgung
: Er kann kontinuierlich Gaußsche Punkte identifizieren, die während des Trainingsprozesses bearbeitet werden müssen, und stellt so sicher, dass nur der Zielbereich bearbeitet wird.
Hierarchisches Gaußsches Splatting (HGS)
Algorithmus zum Hinzufügen und Löschen von 3D-Szenen
: GaussianEditor hat speziell einen Algorithmus zum Hinzufügen und Löschen von 3D-Szenen für GS entwickelt und entworfen, mit dem bestimmte Objekte effizient aus der Szene entfernt oder hinzugefügt werden können.
Das obige ist der detaillierte Inhalt vonMachen Sie die 3D-Bearbeitung so einfach wie PS: Der neue Algorithmus GaussianEditor kann das Hinzufügen, Löschen und Ändern von 3D-Szenen in wenigen Minuten abschließen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen

DDREASE ist ein Tool zum Wiederherstellen von Daten von Datei- oder Blockgeräten wie Festplatten, SSDs, RAM-Disks, CDs, DVDs und USB-Speichergeräten. Es kopiert Daten von einem Blockgerät auf ein anderes, wobei beschädigte Blöcke zurückbleiben und nur gute Blöcke verschoben werden. ddreasue ist ein leistungsstarkes Wiederherstellungstool, das vollständig automatisiert ist, da es während der Wiederherstellungsvorgänge keine Unterbrechungen erfordert. Darüber hinaus kann es dank der ddasue-Map-Datei jederzeit gestoppt und fortgesetzt werden. Weitere wichtige Funktionen von DDREASE sind: Es überschreibt die wiederhergestellten Daten nicht, füllt aber die Lücken im Falle einer iterativen Wiederherstellung. Es kann jedoch gekürzt werden, wenn das Tool explizit dazu aufgefordert wird. Stellen Sie Daten aus mehreren Dateien oder Blöcken in einer einzigen wieder her

0.Was bewirkt dieser Artikel? Wir schlagen DepthFM vor: ein vielseitiges und schnelles generatives monokulares Tiefenschätzungsmodell auf dem neuesten Stand der Technik. Zusätzlich zu herkömmlichen Tiefenschätzungsaufgaben demonstriert DepthFM auch hochmoderne Fähigkeiten bei nachgelagerten Aufgaben wie dem Tiefen-Inpainting. DepthFM ist effizient und kann Tiefenkarten innerhalb weniger Inferenzschritte synthetisieren. Lassen Sie uns diese Arbeit gemeinsam lesen ~ 1. Titel der Papierinformationen: DepthFM: FastMonocularDepthEstimationwithFlowMatching Autor: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

Ich weine zu Tode. Die Daten im Internet reichen überhaupt nicht aus. Das Trainingsmodell sieht aus wie „Die Tribute von Panem“, und KI-Forscher auf der ganzen Welt machen sich Gedanken darüber, wie sie diese datenhungrigen Esser ernähren sollen. Dieses Problem tritt insbesondere bei multimodalen Aufgaben auf. Zu einer Zeit, als sie ratlos waren, nutzte ein Start-up-Team der Abteilung der Renmin-Universität von China sein eigenes neues Modell, um als erstes in China einen „modellgenerierten Datenfeed selbst“ in die Realität umzusetzen. Darüber hinaus handelt es sich um einen zweigleisigen Ansatz auf der Verständnisseite und der Generierungsseite. Beide Seiten können hochwertige, multimodale neue Daten generieren und Datenrückmeldungen an das Modell selbst liefern. Was ist ein Modell? Awaker 1.0, ein großes multimodales Modell, das gerade im Zhongguancun-Forum erschienen ist. Wer ist das Team? Sophon-Motor. Gegründet von Gao Yizhao, einem Doktoranden an der Hillhouse School of Artificial Intelligence der Renmin University.

Stehen Sie vor einer Verzögerung oder einer langsamen mobilen Datenverbindung auf dem iPhone? Normalerweise hängt die Stärke des Mobilfunk-Internets auf Ihrem Telefon von mehreren Faktoren ab, wie z. B. der Region, dem Mobilfunknetztyp, dem Roaming-Typ usw. Es gibt einige Dinge, die Sie tun können, um eine schnellere und zuverlässigere Mobilfunk-Internetverbindung zu erhalten. Fix 1 – Neustart des iPhone erzwingen Manchmal werden durch einen erzwungenen Neustart Ihres Geräts viele Dinge zurückgesetzt, einschließlich der Mobilfunkverbindung. Schritt 1 – Drücken Sie einfach einmal die Lauter-Taste und lassen Sie sie los. Drücken Sie anschließend die Leiser-Taste und lassen Sie sie wieder los. Schritt 2 – Der nächste Teil des Prozesses besteht darin, die Taste auf der rechten Seite gedrückt zu halten. Lassen Sie das iPhone den Neustart abschließen. Aktivieren Sie Mobilfunkdaten und überprüfen Sie die Netzwerkgeschwindigkeit. Überprüfen Sie es erneut. Fix 2 – Datenmodus ändern 5G bietet zwar bessere Netzwerkgeschwindigkeiten, funktioniert jedoch besser, wenn das Signal schwächer ist

Was? Wird Zootopia durch heimische KI in die Realität umgesetzt? Zusammen mit dem Video wird ein neues groß angelegtes inländisches Videogenerationsmodell namens „Keling“ vorgestellt. Sora geht einen ähnlichen technischen Weg und kombiniert eine Reihe selbst entwickelter technologischer Innovationen, um Videos zu produzieren, die nicht nur große und vernünftige Bewegungen aufweisen, sondern auch die Eigenschaften der physischen Welt simulieren und über starke konzeptionelle Kombinationsfähigkeiten und Vorstellungskraft verfügen. Den Daten zufolge unterstützt Keling die Erstellung ultralanger Videos von bis zu 2 Minuten mit 30 Bildern pro Sekunde, mit Auflösungen von bis zu 1080p und unterstützt mehrere Seitenverhältnisse. Ein weiterer wichtiger Punkt ist, dass es sich bei Keling nicht um eine vom Labor veröffentlichte Demo oder Video-Ergebnisdemonstration handelt, sondern um eine Anwendung auf Produktebene, die von Kuaishou, einem führenden Anbieter im Bereich Kurzvideos, gestartet wurde. Darüber hinaus liegt das Hauptaugenmerk darauf, pragmatisch zu sein, keine Blankoschecks auszustellen und sofort nach der Veröffentlichung online zu gehen. Das große Modell von Ke Ling wurde bereits in Kuaiying veröffentlicht.

Kürzlich wurde die Militärwelt von der Nachricht überwältigt: US-Militärkampfflugzeuge können jetzt mithilfe von KI vollautomatische Luftkämpfe absolvieren. Ja, erst kürzlich wurde der KI-Kampfjet des US-Militärs zum ersten Mal der Öffentlichkeit zugänglich gemacht und sein Geheimnis gelüftet. Der vollständige Name dieses Jägers lautet „Variable Stability Simulator Test Aircraft“ (VISTA). Er wurde vom Minister der US-Luftwaffe persönlich geflogen, um einen Eins-gegen-eins-Luftkampf zu simulieren. Am 2. Mai startete US-Luftwaffenminister Frank Kendall mit einer X-62AVISTA auf der Edwards Air Force Base. Beachten Sie, dass während des einstündigen Fluges alle Flugaktionen autonom von der KI durchgeführt wurden! Kendall sagte: „In den letzten Jahrzehnten haben wir über das unbegrenzte Potenzial des autonomen Luft-Luft-Kampfes nachgedacht, aber es schien immer unerreichbar.“ Nun jedoch,
