五官乱飞,张嘴、瞪眼、挑眉,AI都能模仿到位,视频诈骗要防不住了
如此强大的AI模仿能力,真的防不住,完全防不住。现在AI的发展已经达到了这种程度吗?
你前脚让自己的五官乱飞,后脚,一模一样的表情就被复现出来,瞪眼、挑眉、嘟嘴,不管多么夸张的表情,都模仿的非常到位。
加大难度,让眉毛挑的再高些,眼睛睁的再大些,甚至连嘴型都是歪的,虚拟人物头像也能完美复现表情。
当你在左侧调整参数时,右侧的虚拟头像也会相应地改变动作
给嘴巴、眼睛一个特写,模仿的不能说完全相同,只能说表情一模一样(最右边)。
这项研究来自慕尼黑工业大学等机构,他们提出了 GaussianAvatars,这种方法可用来创建在表情,姿态和视角( viewpoint )方面完全可控的逼真头部虚拟( head avatars)。
- 论文地址:https://arxiv.org/pdf/2312.02069.pdf
- 论文主页:https://shenhanqian.github.io/gaussian-avatars
在计算机视觉和图形学领域,创造出能够动态展现人类虚拟头部一直是一个具有挑战性的问题。特别是在表现极端面部表情和细节方面,例如皱纹和头发等细节的捕捉相当困难,生成的虚拟人物往往会出现视觉伪影的问题
在过去的一段时间里,神经辐射场(NeRF)及其变种已经在从多视图观察中重建静态场景方面取得了令人印象深刻的成果。随后的研究扩展了这些方法,使得NeRF能够用于人类定制场景的动态场景建模。然而,这些方法的一个缺点是缺乏可控性,因此无法很好地适应新的姿态和表情
最近出现的「3D高斯喷洒」方法实现了比NeRF更高的渲染质量,可用于实时视图合成。然而,该方法不支持重建输出的动画
本文提出了 GaussianAvatars,这是一种基于三维高斯 splats 的动态 3D 人头表示方法。
具体而言,给定一个 FLAME(对整个头部进行建模)网格 ,他们在每个三角形的中心初始化一个 3D 高斯。当将 FLAME 网格动画化时,每个高斯模型都会根据其父三角形进行平移、旋转和缩放。然后,3D 高斯在网格顶部形成辐射场,补偿网格未准确对齐或无法再现某些视觉元素的区域。
为了保持虚拟人物的高度真实感,本文采用了绑定继承策略。同时,本文还研究了如何在保持真实感和稳定性之间取得平衡,以实现虚拟人物的新颖表情和姿态动画化。研究结果显示,与现有研究相比,GaussianAvatars在新颖视图渲染和驾驶视频重现等方面表现出色
方法简介
如下图 2 所示,GaussianAvatars 的输入是人头的多视图视频记录。对于每个时间步,GaussianAvatars 使用光度头部跟踪器(head tracker)将 FLAME 参数与多视图观察和已知相机参数相匹配。
FLAME 网格的顶点位置各不相同,但拓扑结构相同,因此研究团队可以在网格三角形和 3D 高斯splat之间建立一致的连接。利用可微分的图块光栅器(tile rasterizer)将splat渲染成图像。然后,通过真实图像监督,学习逼真的人体头部头像
为了获得最佳质量,静态场景需要通过一组自适应密度控制操作来紧凑和修剪高斯splat。为了实现这一点,研究团队设计了一种绑定继承策略,使新的高斯点与FLAME网格保持绑定,同时不破坏三角形和splat之间的连接
实验结果
该研究使用新的视角合成技术来评估重建质量,并通过自我复现来评估动画的保真度。下图3显示了不同方法之间的定性比较结果。在新的视角合成方面,所有的方法都能够产生合理的渲染结果。但是,通过仔细检查PointAvatar的结果,可以发现由于其固定的点大小,会出现点状伪影。而采用3D高斯各向异性缩放技术的GaussianAvatars则能够缓解这个问题
我们可以从表1的数量比较中得出相似的结论。与其他方法相比,GaussianAvatars在新视图合成方面表现出色,self-reenactment方面也很出色,在LPIPS方面感知差异明显降低。需要注意的是,self-reenactment是基于FLAME网格跟踪的,可能无法完全对齐目标图像
为了测试虚拟形象动画在现实世界中的表现,该研究进行了图4中的跨身份再现实验。结果显示,虚拟形象准确地再现了源演员的眨眼和嘴巴动作,呈现出活泼复杂的动态,如皱纹等
为了验证方法组件的有效性,该研究还进行了消融实验,结果如下图。
以上是五官乱飞,张嘴、瞪眼、挑眉,AI都能模仿到位,视频诈骗要防不住了的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

0.这篇文章干了啥?提出了DepthFM:一个多功能且快速的最先进的生成式单目深度估计模型。除了传统的深度估计任务外,DepthFM还展示了在深度修复等下游任务中的最先进能力。DepthFM效率高,可以在少数推理步骤内合成深度图。下面一起来阅读一下这项工作~1.论文信息标题:DepthFM:FastMonocularDepthEstimationwithFlowMatching作者:MingGui,JohannesS.Fischer,UlrichPrestel,PingchuanMa,Dmytr

DDREASE是一种用于从文件或块设备(如硬盘、SSD、RAM磁盘、CD、DVD和USB存储设备)恢复数据的工具。它将数据从一个块设备复制到另一个块设备,留下损坏的数据块,只移动好的数据块。ddreasue是一种强大的恢复工具,完全自动化,因为它在恢复操作期间不需要任何干扰。此外,由于有了ddasue地图文件,它可以随时停止和恢复。DDREASE的其他主要功能如下:它不会覆盖恢复的数据,但会在迭代恢复的情况下填补空白。但是,如果指示工具显式执行此操作,则可以将其截断。将数据从多个文件或块恢复到单

谷歌力推的JAX在最近的基准测试中性能已经超过Pytorch和TensorFlow,7项指标排名第一。而且测试并不是在JAX性能表现最好的TPU上完成的。虽然现在在开发者中,Pytorch依然比Tensorflow更受欢迎。但未来,也许有更多的大模型会基于JAX平台进行训练和运行。模型最近,Keras团队为三个后端(TensorFlow、JAX、PyTorch)与原生PyTorch实现以及搭配TensorFlow的Keras2进行了基准测试。首先,他们为生成式和非生成式人工智能任务选择了一组主流

哭死啊,全球狂炼大模型,一互联网的数据不够用,根本不够用。训练模型搞得跟《饥饿游戏》似的,全球AI研究者,都在苦恼怎么才能喂饱这群数据大胃王。尤其在多模态任务中,这一问题尤为突出。一筹莫展之际,来自人大系的初创团队,用自家的新模型,率先在国内把“模型生成数据自己喂自己”变成了现实。而且还是理解侧和生成侧双管齐下,两侧都能生成高质量、多模态的新数据,对模型本身进行数据反哺。模型是啥?中关村论坛上刚刚露面的多模态大模型Awaker1.0。团队是谁?智子引擎。由人大高瓴人工智能学院博士生高一钊创立,高

在iPhone上面临滞后,缓慢的移动数据连接?通常,手机上蜂窝互联网的强度取决于几个因素,例如区域、蜂窝网络类型、漫游类型等。您可以采取一些措施来获得更快、更可靠的蜂窝互联网连接。修复1–强制重启iPhone有时,强制重启设备只会重置许多内容,包括蜂窝网络连接。步骤1–只需按一次音量调高键并松开即可。接下来,按降低音量键并再次释放它。步骤2–该过程的下一部分是按住右侧的按钮。让iPhone完成重启。启用蜂窝数据并检查网络速度。再次检查修复2–更改数据模式虽然5G提供了更好的网络速度,但在信号较弱

最近,军事圈被这个消息刷屏了:美军的战斗机,已经能由AI完成全自动空战了。是的,就在最近,美军的AI战斗机首次公开,揭开了神秘面纱。这架战斗机的全名是可变稳定性飞行模拟器测试飞机(VISTA),由美空军部长亲自搭乘,模拟了一对一的空战。5月2日,美国空军部长FrankKendall在Edwards空军基地驾驶X-62AVISTA升空注意,在一小时的飞行中,所有飞行动作都由AI自主完成!Kendall表示——在过去的几十年中,我们一直在思考自主空对空作战的无限潜力,但它始终显得遥不可及。然而如今,

这周,由OpenAI、微软、贝佐斯和英伟达投资的机器人公司FigureAI宣布获得接近7亿美元的融资,计划在未来一年内研发出可独立行走的人形机器人。而特斯拉的擎天柱也屡屡传出好消息。没人怀疑,今年会是人形机器人爆发的一年。一家位于加拿大的机器人公司SanctuaryAI最近发布了一款全新的人形机器人Phoenix。官方号称它能以和人类一样的速率自主完成很多工作。世界上第一台能以人类速度自主完成任务的机器人Pheonix可以轻轻地抓取、移动并优雅地将每个对象放置在它的左右两侧。它能够自主识别物体的

多模态文档理解能力新SOTA!阿里mPLUG团队发布最新开源工作mPLUG-DocOwl1.5,针对高分辨率图片文字识别、通用文档结构理解、指令遵循、外部知识引入四大挑战,提出了一系列解决方案。话不多说,先来看效果。复杂结构的图表一键识别转换为Markdown格式:不同样式的图表都可以:更细节的文字识别和定位也能轻松搞定:还能对文档理解给出详细解释:要知道,“文档理解”目前是大语言模型实现落地的一个重要场景,市面上有很多辅助文档阅读的产品,有的主要通过OCR系统进行文字识别,配合LLM进行文字理
