Les traits du visage volent, ouvrent la bouche, regardent fixement et lèvent les sourcils. L'IA peut les imiter parfaitement, ce qui rend impossible la prévention des escroqueries vidéo.

Une capacité d'imitation de l'IA si puissante, il est vraiment impossible de s'en prémunir, il est complètement impossible de s'en prémunir. Le développement de l’IA a-t-il atteint ce niveau aujourd’hui ?

Vous bougez votre pied avant pour faire voler les traits de votre visage, et sur votre pied arrière, la même expression exacte est reproduite. Regarder, lever les sourcils, faire la moue, peu importe à quel point l'expression est exagérée, tout est parfaitement imité.

Augmentez la difficulté, levez les sourcils plus haut, ouvrez plus grand les yeux, même la forme de la bouche est tordue et l'avatar du personnage virtuel peut parfaitement reproduire l'expression.

Lorsque vous ajustez les paramètres à gauche, l'avatar virtuel à droite modifiera également ses mouvements en conséquence

Donnez un gros plan de la bouche et des yeux. dit que c'est exactement le même, on peut seulement dire que les expressions sont exactement les mêmes (à l'extrême droite).

Cette recherche provient d'institutions telles que l'Université technique de Munich, qui a proposé GaussianAvatars, une méthode qui peut être utilisée pour créer des avatars de tête réalistes et entièrement contrôlables en termes d'expression, de posture et de point de vue (viewpoint) .

• Adresse papier : https://arxiv.org/pdf/2312.02069.pdf
• Page d'accueil papier : https://shenhanqian.github.io/gaussian-avatars

Dans les domaines de la vision par ordinateur et du graphisme, créer une tête virtuelle capable de représenter dynamiquement un humain a toujours été un problème difficile. Surtout en termes d'expression d'expressions faciales et de détails extrêmes, il est assez difficile de capturer des détails tels que les rides et les cheveux, et les personnages virtuels générés souffrent souvent d'artefacts visuels

Au cours de la dernière période, le champ de rayonnement neuronal ( NeRF) ) et ses variantes ont obtenu des résultats impressionnants dans la reconstruction de scènes statiques à partir d'observations multi-vues. Des recherches ultérieures ont étendu ces méthodes, permettant d'utiliser NeRF pour la modélisation dynamique de scènes de scénarios adaptés à l'homme. Cependant, un inconvénient de ces méthodes est le manque de contrôlabilité et donc l'incapacité de bien s'adapter aux nouvelles poses et expressions.

La méthode « 3D Gaussian Spray » récemment apparue permet d'obtenir une qualité de rendu supérieure à celle du NeRF et peut être utilisée en temps réel. Voir la composition. Cependant, cette méthode ne prend pas en charge l'animation de la sortie reconstruite

Cet article propose GaussianAvatars, une méthode de représentation dynamique de la tête en 3D basée sur des splats gaussiens tridimensionnels.

Plus précisément, étant donné un maillage FLAME (modélisation de la tête entière), ils ont initialisé une gaussienne 3D au centre de chaque triangle. Lorsqu'un maillage FLAME est animé, chaque modèle gaussien est translaté, pivoté et mis à l'échelle en fonction de son triangle parent. La gaussienne 3D forme ensuite un champ de rayonnement au-dessus du maillage, compensant les zones où le maillage n'est pas aligné avec précision ou ne parvient pas à reproduire certains éléments visuels.

Afin de maintenir un haut degré de réalisme des personnages virtuels, cet article adopte une stratégie d'héritage contraignante. Dans le même temps, cet article étudie également comment trouver un équilibre entre le maintien du réalisme et de la stabilité pour animer de nouvelles expressions et postures de personnages virtuels. Les résultats de la recherche montrent que par rapport aux recherches existantes, GaussianAvatars fonctionne bien en termes de rendu de vue et de reproduction vidéo. enregistrement vidéo multi-vues d'une tête humaine. Pour chaque pas de temps, GaussianAvatars utilise un tracker de tête photométrique pour faire correspondre les paramètres FLAME aux observations multi-vues et aux paramètres de caméra connus.

Les maillages FLAME ont des positions de sommets différentes mais la même topologie, afin que l'équipe puisse créer des connexions cohérentes entre les triangles du maillage et les éclaboussures gaussiennes 3D. Rendre les éclaboussures dans une image à l'aide d'un rastériseur de tuiles différenciables. Ensuite, avec une véritable supervision de l'image, des avatars réalistes de têtes humaines sont appris

Pour une qualité optimale, les scènes statiques doivent être compactées et élaguées par des splats gaussiens grâce à un ensemble d'opérations de contrôle de densité adaptatives. Pour y parvenir, l'équipe de recherche a conçu une stratégie d'héritage de liaison qui maintient les nouveaux points gaussiens liés au maillage FLAME sans détruire la connexion entre le triangle et le splat

Résultats expérimentaux

Nous utilisons de nouvelles techniques de synthèse de perspective pour évaluer la qualité de la reconstruction et évaluer la fidélité de l'animation par auto-récurrence. La figure 3 ci-dessous montre les résultats d'une comparaison qualitative entre différentes méthodes. En termes de nouvelle synthèse de perspective, toutes les méthodes sont capables de produire des résultats de rendu raisonnables. Cependant, en examinant de plus près les résultats de PointAvatar, on peut constater que des artefacts ponctuels se produisent en raison de sa taille de point fixe. Les GaussianAvatars utilisant la technologie de mise à l'échelle anisotrope gaussienne 3D peuvent atténuer ce problème

Nous pouvons tirer des conclusions similaires de la comparaison quantitative du tableau 1. Comparé à d'autres méthodes, GaussianAvatars fonctionne bien dans la synthèse de nouvelles vues, est également excellent dans l'auto-reconstitution et a considérablement réduit les différences de perception dans les LPIPS. Il convient de noter que l'auto-reconstitution est basée sur le suivi de la grille FLAME et peut ne pas être entièrement alignée sur l'image cible

Pour tester les performances de l'animation d'avatar dans le monde réel, l'étude a été menée à travers des expériences en reproduction identitaire. Les résultats ont montré que l'avatar reproduisait fidèlement les mouvements de clignement et de bouche de l'acteur source, présentant des dynamiques vives et complexes telles que les rides, etc. Des expériences d'ablation ont également été réalisées et les résultats sont présentés ci-dessous.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!