Der Restaurierungsfilm „Volcano Engine 4K' wurde für das Beijing Film Festival ausgewählt und die entsprechende Technologie gewann die Meisterschaft beim CVPR2024

Am 18. April wurde das 14. Internationale Filmfestival Peking offiziell eröffnet. Die Hongkonger Filme „Plan A“ und „The Pledge of Allegiance“, die gemeinsam von China Film Archive, Douyin und Volcano Engine restauriert wurden, wurden in die Sektion „Tribute and Restoration“ aufgenommen und werden am 18. und 19. April gezeigt.

4K-Version der Filmplakate „Plan A“ und „Pact of Promise“

„Plan A“ und „Pact of Promise“ wurden 1983 bzw. 1978, also vor mehr als 40 Jahren, veröffentlicht. Im August 2023 starteten das China Film Archive, Douyin und Volcano Engine gemeinsam das „Classic Hong Kong Movie Restoration Project“ und kündigten die Restaurierung von 100 Hongkong-Filmen an. Die beiden diesmal gezeigten Filme stammen aus den oben genannten Projekten. Die Original-Drehnegative der Filme wurden im 4K-Format in Hongkong gescannt. Der gesamte Restaurierungsprozess umfasste die physische und digitale Restaurierung durch das China Film Archive sowie die Restaurierung mit KI-Technologie Motor und Zusammenarbeit zwischen den beiden Parteien Kunstrestaurierung und andere Aspekte.

Volcano Engine ist eine Cloud-Service-Plattform von ByteDance. Sie hat mit Xigua Video bzw. Douyin zusammengearbeitet, um die 4K-Restaurierung von 100 inländischen klassischen Animationen und Beyond-Classic-Konzerten durchzuführen.

Im „Classic Hong Kong Film Restoration Project“ wandte Volcano Engine zum ersten Mal die AIGC-Technologie auf alte Filmrestaurierungsszenen an und nutzte dabei die leistungsstarken Generierungsfähigkeiten großer visueller Modelle und umfangreiches Vorwissen, um Restaurierungseffekte in Bezug auf Klarheit, Farbe und Glätte. Umfassende Verbesserung in Bezug auf Genauigkeit und Fehlerbeseitigung, Wortzahl: 78.

Einerseits ist die Fähigkeit zur Generierung großer Modelle stark. Mit Hilfe der Fähigkeit zur Generierung großer Modelle mit stabiler Diffusion ist der Reparatureffekt besser als beim vorherigen Algorithmus und andererseits sind die Bilddetails natürlicher. Das große Modell verfügt über eine sehr starke Fähigkeit zur Informationsstrukturierung. Nach der Kopplung großer Datenmengen kann eine große Menge an Wissen extrahiert und in Modellparametern „gespeichert“ werden. Der Generierungsraum ist umfangreicher und kann mehr Reparaturszenarien verarbeiten. Wang Yue, Direktor der Video-Cloud-Technologiearchitektur von Volcano Engine, stellte vor.

Derzeit hat die Volcano Engine eine Reihe von Optimierungen in Algorithmen und Technik vorgenommen, um die Leistung großer visueller Modelle, wie z. B. Artefakte oder falsche Texturen, die in bestimmten Szenen leicht zu erzeugen sind, sowie die Stabilität von Multiframes zu verbessern Videoszenen Verarbeitungseffizienz und Rechenleistungskosten im Szenario.

Nach den eingehenden Reparaturarbeiten hat das Volcano Engine Multimedia Laboratory das große visuelle Modell durch die Einführung adaptiver Feature-Gewichtungsmodule, einer Kombination aus unbeaufsichtigtem Lernen und überwachtem Lernen, textsemantischen Prioritäten und anderen Trainingsmethoden weiter optimiert. Es wurden in mehreren Aspekten gute Ergebnisse erzielt, beispielsweise bei der Rekonstruktion von Porträts extrem schlechter Qualität, der Farbanpassung verblasster Filme und der Erzeugung fehlender Striche im Text.

Vor der Reparatur vs. Nach der Reparatur

Vergleich vor und nach der Farbanpassung des verblassten Films

Um die „renovierte wie alte“ Textur des Originalfilms beizubehalten, hat das technische Team außerdem speziell eine adaptive Textur entwickelt und gleichzeitig die Glätte beschädigter Bildtexturen sowie die Entfernung von Nachtszenenrauschen verbessert und andere Effekte, die Körnung hinzufügen, die Filmrauschen simuliert.

Gleichzeitig stellt die Lösung verschiedener praktischer Probleme bei der Restaurierung alter Filme auch einen Mehrwert für die akademische Forschung des Volcano Engine Multimedia Laboratory dar. Auf der Top-Computer-Vision-Konferenz CVPR 2024 gewann das Volcano Engine Multimedia Laboratory die Meisterschaft im NTIRE-Track ( New Trends in Image Restoration and Enhancement). Seine Siegerlösung basiert hauptsächlich auf Lösungen für die Bildverbesserung durch schnelles Lernen Das Problem der Reparatur unvorhersehbarer komplexer Schäden (unbekannter komplexer Abbau) ähnelt einer großen Anzahl alter Filme.

„Wir restaurieren tatsächlich jeden Tag alte Filme.“ Wang Yue sagte, dass häufige Bildqualitätsprobleme wie niedrige Auflösung, geringe Farbflüssigkeit, Farbverzerrung und Mängel bei alten Filmen auf Douyins massivem Gerät gelöst wurden in Einsendungen. Durch die Unterstützung von Douyin hat Huoshan Engine ein relativ vollständiges Paket intelligenter Verarbeitungstechnologielösungen für die Restaurierung alter Filme zusammengestellt.

Öffentliche Informationen zeigen, dass der Filmrestaurierungsprozess kompliziert und trivial ist und ein erfahrener Restaurator einen Monat braucht, um einen Film fertigzustellen. In den letzten Jahren ist es durch Deep Learning und andere KI-Technologien gelungen, die Qualität und Effizienz der Altfilmrestaurierung deutlich zu verbessern.

Ma Kede, Assistenzprofessorin am Fachbereich Informatik der City University of Hong Kong, sagte, dass die derzeitige rasante Entwicklung der Technologie der künstlichen Intelligenz großes Potenzial für die Zukunft gezeigt habe, nicht nur das Problem der Nichtsynchronisation Audio und Video in einigen alten Filmen werden durch AIGC effektiver gelöst, aber auch Es wird erwartet, dass die KI lernen wird, den Reparatureffekt automatisch zu beurteilen.

Alte Hongkong-Filme wecken bei vielen Zuschauern Jugenderinnerungen. Jackie Chans hervorragende schauspielerische Fähigkeiten und spannende Actionszenen in „Plan A“ sowie Xu Guanwens humorvoller Auftritt in „The Affair“ haben dem Publikum unzählige Überraschungen beschert. Mit der Verbesserung der Restaurierungstechnologie werden diese Klassiker der Vergangenheit wiederbelebt.

Während der Pre-Screening-Veranstaltung von „Plan A“ teilte der leitende Filmproduzent Sun Rong, der einst als Vizepräsident von Jackie Chan China fungierte, den Fans vor Ort mit, dass Jackie Chan zuvor geglaubt hatte, dass das Licht im Tunnel in „ „Eagle Project“ war nicht hell genug und „klassisches Hong Kong“. Das „Film Restoration Project“-Team nahm basierend auf den Meinungen Anpassungen vor und machte das Bedauern seiner damaligen Schöpfung wett.

Sun Rong, Gründerin von Dinosaur Pictures, ehemalige Vizepräsidentin von Jackie Chan China und Vizepräsidentin von Sparkle Roll Films, teilte vor der Vorführung mit

Derzeit kann das Publikum das „Classic Hong Kong Movie Restoration Project“ online ansehen zu Douyin, Xigua Video „Für die wiederhergestellten Filme werden nacheinander auch wiederhergestellte 4K-Versionen der verbleibenden Filme veröffentlicht.“

Das obige ist der detaillierte Inhalt vonDer Restaurierungsfilm „Volcano Engine 4K' wurde für das Beijing Film Festival ausgewählt und die entsprechende Technologie gewann die Meisterschaft beim CVPR2024. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!