Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. Einreichungs-E-Mail: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com
Die 3D-Generierung ist eines der auffälligsten Themen im Bereich der generativen künstlichen Intelligenz und der Computergrafik und Spielestandards Es ist besonders besorgt über die Branche. Im Produktionsprozess werden 3D-Assets allgemeiner Kategorien häufig durch manuelles Modellieren oder Scannen erstellt. Als wichtige Kategorie von 3D-Assets werden Bekleidungsassets jedoch häufig aus Prozessen wie flachen Mustern und physikalischen Simulationen abgeleitet und nicht direkt in 3D modelliert. Die Shanghai University of Science and Technology, Yingmo Technology und die University of Pennsylvania haben gemeinsam DressCode vorgeschlagen. Es ist das erste 3D-Bekleidungsgenerierungs-Framework, das CG-Operationen vollständig unterstützt und mit industriellen Prozessen kompatibel ist Kleidung durch Textführung. Hochwertige, bearbeitbare, fahrbare, simulierte 3D-Kleidung. 
Dresscode wurde von Transactions on Graphics, der führenden internationalen Fachzeitschrift im Bereich Computergrafik, akzeptiert und wird auf der SIGGRAPH 2024, der führenden internationalen Konferenz für Computergrafik, vorgestellt.
- Projektlink: https://sites.google.com/view/projectpage-dresscode
- Papierlink: https://arxiv.org/abs/2401.16465
Kleidung spielt eine wichtige Rolle für das menschliche Erscheinungsbild, was die Bedeutung der Digitalisierung von Kleidung für die Schaffung digitaler Menschen unterstreicht. Die jüngsten dramatischen Fortschritte bei der Erstellung von 3D-Inhalten sind entscheidend für die Schaffung digitaler Menschen.
Es gibt jedoch noch eine freie Stelle in der Arbeit zur Bekleidungsgenerierung. Da das durch die allgemeine Generierungsmethode erzeugte Netz oder neuronale Feld nicht mit dem tatsächlichen digitalen Bekleidungsproduktionsprozess kompatibel ist, ist die direkte Anwendung dieser Art von Methode erforderlich Bekleidungskategorien hat nicht viel Erfolg erzielt.
Um diese Probleme zu lösen, schlug das Forschungs- und Entwicklungsteam von Yingmo Technology und der Shanghai University of Science and Technology ein textgesteuertes 3D-Kleidungsgenerierungs-Framework – DressCode – vor, das darauf abzielt, das Design digitaler Kleidung für Anfänger zu vereinfachen und das zu verbessern Effizienz im Modedesign, virtuelle Anprobe und digitale menschliche Kreation bieten großes Potenzial.
Dieses Framework kann durch natürliche Sprachinteraktion Kleidungsmodelle generieren, die für den CG-Prozess geeignet sind, und erleichtert außerdem die Mustervervollständigung und Texturbearbeitung, wodurch der Designprozess durch benutzerfreundliche Interaktion vereinfacht wird. In diesem Artikel werden die Hauptfunktionen von DressCode ausführlich vorgestellt und seine Anwendungsaussichten in tatsächlichen Designszenarien untersucht.
SewingGPT Framework-ÜbersichtFür das Mustergenerierungsmodul schlägt das Papier SewingGPT vor, ein auf GPT basierendes autoregressives Modell zum Generieren von Nähmustern durch Textaufforderungen. Es wandelt zunächst die Nähmusterparameter in eine Reihe quantifizierter Token um und trainiert einen Nur-Decoder-Transformer. Und durch die Integration der Queraufmerksamkeit von Textaufforderungswörtern in den Transformer kann der Text als Leitfaden für die generierten Ergebnisse verwendet werden. Nach Abschluss des Trainings kann das Modell automatisch eine Token-Sequenz entsprechend den Benutzerbedingungen generieren und die generierte Sequenz wird umgekehrt quantisiert, um die generierten Nähmusterparameter zu erhalten. DressCode Framework-ÜbersichtMit SewingGPT ist das Framework in der Lage, verschiedene Nähmuster direkt aus Textaufforderungen zu generieren. Da die Materialzuordnung in der CG-Pipeline von entscheidender Bedeutung ist, generiert das Framework entsprechende physikalisch basierte Texturen für diese Muster und passt sich so besser an den Kostümdesign-Workflow an. Das von den Autoren vorgeschlagene DressCode-Framework verwendet SewingGPT- und PBR-Texturgeneratoren, um die geometrischen Teile und Texturteile von 3D-Kleidung zu generieren, und nutzt darüber hinaus große Sprachmodelle, um durch natürliche Sprachinteraktion maßgeschneiderte Kleidung für Benutzer zu erstellen. Nachdem die Autoren die Generierung von Nähmustern und Texturen durch Texteingabeaufforderungen erkannt hatten, übernahmen die Autoren GPT, um Designern die Verwendung natürlicher Sprache für die Interaktion mit dem Generator in tatsächlichen Szenarien zu ermöglichen, anstatt sich auf Eingabeaufforderungen im Datensatzformat zu verlassen. 4 Führen Sie ein Inhaltslernen durch, um die Eingaben des Benutzers in natürlicher Sprache zu interpretieren und geometrische Eingabeaufforderungswörter und Textureingabeaufforderungswörter zu generieren. Nachdem diese Eingabeaufforderungswörter in SewingGPT und den PBR-Texturgenerator eingegeben wurden, werden die generierten Nähmuster und Texturen erhalten und die Endergebnisse werden durch Simulation und Rendering erzielt. Gleichzeitig können die generierten Kleidungs- und PBR-Texturen nahtlos in Industriesoftware integriert, mit menschlichen Modellen animiert und gesteuert sowie unter verschiedenen Lichtverhältnissen gerendert werden, um lebendige und realistische Effekte zu erzielen. 
Funktion zur MustervervollständigungDank des autoregressiven Modells kann SewingGPT das gesamte Nähmuster vervollständigen, nachdem es Teilmusterinformationen erhalten hat, indem es die vom Modell bereitgestellte Wahrscheinlichkeitsvorhersage nutzt. Darüber hinaus kann die Eingabe einer Textaufforderung das Modell anleiten, das Schnittmuster fertigzustellen. Nachdem beispielsweise ein Ärmel gegeben wurde, kann das Modell je nach Aufforderung verschiedene Nähmuster fertigstellen. Dies ermöglicht es Benutzern, Teilmuster manuell zu entwerfen, SewingGPT als Inspiration zu nutzen und Kleidungsstücke anhand von Texteingaben fertigzustellen. Funktion zur TexturbearbeitungBei den meisten neueren 3D-Generierungsaufgaben ist die Unfähigkeit, strukturierte UV-Abbildungen zu generieren, ein großes Hindernis für praktische Anwendungsszenarien, insbesondere bei der Generierung von Kleidung, sodass dies nicht möglich ist Wird in tatsächlichen Entwurfsszenarien verwendet. Die in diesem Artikel vorgeschlagene generative Methode, die die Schnittmusterdarstellung nutzt, ermöglicht die Erstellung einzigartiger und strukturierter UV-Karten für jedes Muster. Dies ermöglicht Benutzern auch die einfache Bearbeitung von Texturen an bestimmten Stellen und unterstützt so eine effiziente Nachbearbeitung von Texturkarten. DressCode-Framework hat im Vergleich zu anderen Methoden hervorragende Ergebnisse erzielt und kann sowohl Anfängern als auch Profis die Arbeit auf der Grundlage von Schnittmustern ermöglichen Designer können durch einfache Texteingaben hochwertige Schnittmuster und PBR-Texturen erstellen, was den Kleidungsdesignprozess erheblich vereinfacht. DressCodes Benutzerfreundlichkeit und innovativer Ansatz versprechen, die Zukunft der digitalen Kleidung voranzutreiben. Eine solche Generierungsaufgabe auf Basis von Schnittmustern wird die Entwicklung von virtuellem Anprobieren, Modedesign und digitaler Kleidung durch digitale Menschen vorantreiben, auf die wir uns gemeinsam freuen. Das obige ist der detaillierte Inhalt vonSIGGRAPH2024｜Shanghai University of Science and Technology und Yingmu schlugen gemeinsam DressCode vor: Generierung von 3D-Kleidungsmustern aus Text. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
![[Web-Frontend] Node.js-Schnellstart](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
