Le film de restauration Volcano Engine 4K a été sélectionné pour le Festival du film de Pékin et la technologie associée a remporté le championnat au CVPR2024.

Le 18 avril, le 14e Festival international du film de Pékin s'est officiellement ouvert. Les films hongkongais « Plan A » et « The Pledge of Allegiance » restaurés conjointement par China Film Archive, Douyin et Volcano Engine ont été sélectionnés dans la section « Hommage et restauration » et seront projetés les 18 et 19 avril.

Version 4K des affiches des films "Plan A" et "Pact of Promise"

"Plan A" et "Pact of Promise" sont sortis respectivement en 1983 et 1978, il y a plus de 40 ans. En août 2023, les China Film Archive, Douyin et Volcano Engine ont lancé conjointement le « Classic Hong Kong Movie Restoration Project » et ont annoncé la restauration de 100 films de Hong Kong. Les deux films projetés cette fois proviennent des projets mentionnés ci-dessus. Les négatifs originaux des films ont été numérisés au format 4K à Hong Kong. L'ensemble du processus de restauration comprenait la restauration physique et numérique par China Film Archive, la restauration par technologie IA par Volcano. Moteur et coopération entre les deux parties. Restauration d'art et autres aspects.

Volcano Engine est une plate-forme de services cloud appartenant à ByteDance. Elle a travaillé respectivement avec Xigua Video et Douyin pour réaliser la restauration 4K de 100 animations classiques nationales et de concerts Beyond Classic.

Dans le "Classic Hong Kong Film Restoration Project", Volcano Engine a appliqué pour la première fois la technologie AIGC à d'anciennes scènes de restauration de films, en utilisant les puissantes capacités de génération de grands modèles visuels et de riches connaissances préalables pour obtenir des effets de restauration en termes de clarté, couleur et douceur. Amélioration globale en termes de précision et d'élimination des défauts, nombre de mots : 78.

D'une part, la capacité de génération de grands modèles est forte. Avec l'aide de la capacité de génération de grands modèles à diffusion stable, l'effet de réparation est meilleur que l'algorithme précédent, et les détails de l'image sont plus naturels d'autre part, le grand modèle a une très forte capacité de structuration de l'information.Après avoir couplé des données massives, une grande quantité de connaissances peut être extraite et « stockée » dans les paramètres du modèle. L'espace de génération est plus riche et peut gérer davantage de scénarios de réparation. Wang Yue, directeur de l'architecture technologique du cloud vidéo de Volcano Engine, a présenté.

Actuellement, le Volcano Engine a effectué une série d'optimisations en termes d'algorithmes et d'ingénierie pour améliorer les performances des grands modèles visuels, tels que les artefacts ou les fausses textures faciles à générer dans certaines scènes, ainsi que la stabilité du multi-frame. scènes vidéo. Efficacité du traitement et coût de la puissance de calcul dans le scénario.

Selon les travaux de réparation en profondeur, le laboratoire multimédia Volcano Engine a encore optimisé le grand modèle visuel en introduisant des modules de pondération adaptative des fonctionnalités, une combinaison d'apprentissage non supervisé et d'apprentissage supervisé, des priorités sémantiques de texte et d'autres méthodes de formation. Il a obtenu de bons résultats dans plusieurs aspects tels que la reconstruction de portraits de très mauvaise qualité, l'ajustement des couleurs de films décolorés et la génération de traits manquants dans le texte.

Avant Réparation vs Après Réparation

Comparaison avant et après ajustement des couleurs du film décoloré

Afin de conserver la texture "rénovée comme ancienne" du film original, l'équipe technique a également spécialement développé une texture adaptative tout en améliorant la douceur des textures d'image endommagées, la suppression du bruit des scènes de nuit et d'autres effets. Schéma d'amélioration qui ajoute du grain qui simule le bruit du film.

Dans le même temps, la résolution de divers problèmes pratiques liés à la restauration de films anciens apporte également de la valeur à la recherche académique du Laboratoire multimédia Volcano Engine. Lors de la conférence de vision par ordinateur CVPR 2024, le laboratoire multimédia Volcano Engine a remporté le championnat dans la catégorie NTIRE ( Nouvelles tendances en matière de restauration et d'amélioration d'image). Sa solution gagnante est basée sur l'apprentissage rapide (Prompt Learning), la récupération par amélioration d'image résout principalement. le problème de la réparation de dommages complexes imprévisibles (dégradation complexe inconnue) semblable à un grand nombre de films anciens.

"Réparer de vieux films est en fait quelque chose que nous faisons tous les jours." Wang Yue a déclaré que les problèmes courants de qualité d'image tels que la faible définition, la faible fluidité, la distorsion des couleurs et les défauts des vieux films ont été résolus sur le massif de Douyin. dans les soumissions. En servant Douyin, Huoshan Engine a constitué un ensemble relativement complet de solutions technologiques de traitement intelligentes pour la restauration de vieux films.

Les informations publiques montrent que le processus de restauration de films est compliqué et trivial, et qu'il faut un mois à un restaurateur expérimenté pour terminer un film. Ces dernières années, grâce au deep learning et à d’autres technologies d’IA, il est devenu possible d’améliorer considérablement la qualité et l’efficacité de la restauration de films anciens.

Ma Kede, professeur adjoint au Département d'informatique de l'Université municipale de Hong Kong, a déclaré que le développement rapide actuel de la technologie de l'intelligence artificielle a montré un grand potentiel à l'avenir, et pas seulement le problème de la désynchronisation. l'audio et la vidéo de certains vieux films seront résolus plus efficacement grâce à l'AIGC, mais même on s'attend à ce que l'IA apprenne à juger automatiquement l'effet de réparation.

Les vieux films de Hong Kong portent les souvenirs de jeunesse de nombreux téléspectateurs. Les superbes talents d'acteur et les scènes d'action palpitantes de "Plan A", ainsi que la performance humoristique de Xu Guanwen dans "The Affair", ont apporté d'innombrables surprises au public. Avec l'amélioration de la technologie de restauration, ces classiques du passé vont renaître.

Lors des activités de pré-projection de "Plan A", le producteur senior du film Sun Rong, qui était vice-président de Jackie Chan Chine, a partagé avec les fans sur place que Jackie Chan pensait auparavant que la lumière dans le tunnel dans "Eagle Project" n'était pas assez brillant et "classique de Hong Kong". L'équipe du "Film Restoration Project" a fait des ajustements en fonction des avis et a compensé les regrets de sa création à l'époque.

Sun Rong, fondateur de Dinosaur Pictures, ancien vice-président de Jackie Chan Chine et vice-président de Sparkle Roll Films, a partagé avant la projection

Actuellement, le public peut regarder le "Classic Hong Kong Movie Restoration Project" en ligne sur Douyin, Xigua Video « Pour les films qui ont été restaurés, des versions restaurées 4K des films restants seront également diffusées les unes après les autres.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!