目录
Keyframer 介绍
首页 科技周边 人工智能 一句话让图片动起来,苹果发力大模型动画生成,可直接编辑结果

一句话让图片动起来,苹果发力大模型动画生成,可直接编辑结果

Mar 05, 2024 am 09:46 AM
ai 数据

当前,大型模型的惊人创新能力持续影响着创意领域,尤其是像Sora这样的视频生成技术代表。虽然Sora已经引领了新一代潮流,但现在或许值得大家关注一下苹果的最新研究成果。

苹果的研究者最近发布了一个名为「Keyframer」的框架,它可以利用大型语言模型生成动画。这个框架允许用户通过自然语言提示来轻松地为静态2D图像创建动画。这项研究展示了语言模型在设计动画方面的潜力,为动画设计师提供了更加高效且直观的工具。

一句话让图片动起来,苹果发力大模型动画生成,可直接编辑结果

论文地址:https://arxiv.org/pdf/2402.06071.pdf

具体而言,该研究结合了基于语言提示设计工件的新兴设计原则和 LLM 的代码生成能力,构建了一个新的 AI 驱动的动画工具 Keyframer。通过 Keyframer,用户可以通过自然语言提示,从静态 2D 图像创建动画插图。借助 GPT-4,Keyframer 可以生成 CSS 动画代码,使输入的 SVG(Scalable Vector Graphic)动画化。

除此以外,Keyframer 支持用户通过多种编辑器类型直接编辑生成的动画。

用户可以通过反复的提示和请求,利用LLM生成的设计变体来不断完善他们的设计,从而在新的设计方向上进行思考。不过,目前Keyframer还没有对外公开。

之所以做这项研究,苹果表示 LLM 在动画中的应用尚未得到充分探索,并带来了新的挑战,例如用户如何有效地用自然语言描述运动。现阶段虽然文生图工具如 Dall・E 和 Midjourney 等效果出色,但动画设计需要考虑更复杂的因素,例如时间以及协调性,这些因素很难在单个提示中全面概括。

用户只需上传图像,并在提示框中输入类似于“让星星闪烁”的内容,然后点击生成即可查看这项研究的效果。

一句话让图片动起来,苹果发力大模型动画生成,可直接编辑结果

用户可以在一个批次中生成多个动画设计,并在单独的窗口中调整颜色代码和动画持续时间等属性。无需任何编码经验,因为 Keyframer 会自动将这些更改转换为 CSS,代码本身也是完全可编辑的。这种基于描述的方法比其他形式的人工智能生成动画简单得多,后者通常需要多个不同的应用程序和一些编码经验。

Keyframer 介绍

Keyframer 是一款由 LLM 驱动的应用程序,旨在从静态图像创建动画。Keyframer 可以充分利用 LLM 的代码生成能力,以及静态矢量图(SVG)的语义结构,从而根据用户提供的自然语言提示生成动画。

一句话让图片动起来,苹果发力大模型动画生成,可直接编辑结果

输入:该系统提供了一个输入区域,用户可以在其中粘贴他们想要动画化的 SVG 图像代码(SVG 是一种标准且流行的图像格式,在插图中因其可伸缩性及在多个平台上的兼容性而常用)。在 Keyframer 中,SVG 的渲染显示在代码编辑器旁边,以便用户可以预览图像的视觉设计,如图 2 所示,土星插图的 SVG 代码包含了如天空、光环等标识符。

一句话让图片动起来,苹果发力大模型动画生成,可直接编辑结果

GPT 提示:该系统允许用户输入自然语言提示来创建动画。用户可以请求单个设计(让行星旋转)或多个设计变体(创建 3 个星星闪烁的设计),之后单击「生成动画」按钮开始请求。在将用户请求传递给 GPT 之前,该研究会用完整的原始 SVG XML 完善其提示,并指定 LLM 响应的格式。

GPT 输出:一旦提示请求开始,GPT 就会传输响应,该响应由一个或多个 CSS 片段组成,如图 3 所示。

一句话让图片动起来,苹果发力大模型动画生成,可直接编辑结果

渲染:渲染部分包括(1)每个动画进行可视化渲染以及由 LLM 生成的 1 句解释(2)一系列用于修改设计的编辑器。

其中代码编辑器使用 CodeMirror 实现;属性编辑器为编辑代码提供了特定于属性的 UI,例如为了编辑颜色,该研究提供了一个颜色选择器。图 5 显示了代码编辑器与属性编辑器图示。

一句话让图片动起来,苹果发力大模型动画生成,可直接编辑结果

迭代:为了支持用户在动画创建过程 (DG1) 中进行更深入的探索,该研究还提供了一项功能,允许用户使用提示在生成的动画上迭代构建。每个生成的设计下面都有一个按钮「 + Add New Prompt 」;单击此按钮会在页面底部打开一个新表单,供用户使用新提示扩展其设计。

保存设计的侧边栏以及摘要。该系统允许用户对设计加注星标进行收藏并将其添加到侧边栏,如图 6 右侧所示。此外,该系统还有一个摘要模式,其能隐藏所有文本编辑器并显示动画及其提示,使用户能够快速重新访问以前的提示和设计。

一句话让图片动起来,苹果发力大模型动画生成,可直接编辑结果

实验过程中,苹果团队选择了 13 名参与者(6 名女性,7 名男性)试用 Keyframer。表 1 为参与者的一些信息及其掌握的技能。

甚至专业动作设计师「EP13」也看到了 Keyframer 扩展其能力的潜力:「我有些担心这些工具会取代我们的工作,因为它的潜力如此之大。但细细想来,这项研究只会提高我们的技能。应该是件值得高兴的事情。」

一句话让图片动起来,苹果发力大模型动画生成,可直接编辑结果

总体而言,参与者对 Keyframer 的使用体验感到满意。参与者给出的平均分数为 3.9 ,介于满意 (4) 和中立 (3) 之间。参与者生成了 223 种设计。平均来看,每位参与者生成 17.2 个设计。图 8 显示了两个参与者的最终动画示例。

一句话让图片动起来,苹果发力大模型动画生成,可直接编辑结果

更多技术细节请参阅原论文。

以上是一句话让图片动起来,苹果发力大模型动画生成,可直接编辑结果的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前 By 尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
1 个月前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

Python中如何通过字符串动态创建对象并调用其方法? Python中如何通过字符串动态创建对象并调用其方法? Apr 01, 2025 pm 11:18 PM

在Python中,如何通过字符串动态创建对象并调用其方法?这是一个常见的编程需求,尤其在需要根据配置或运行...

如何利用Go或Rust调用Python脚本实现真正的并行执行? 如何利用Go或Rust调用Python脚本实现真正的并行执行? Apr 01, 2025 pm 11:39 PM

如何利用Go或Rust调用Python脚本实现真正的并行执行?最近在使用Python...

requests库获取网页数据时,如何解决动态加载内容缺失的问题? requests库获取网页数据时,如何解决动态加载内容缺失的问题? Apr 01, 2025 pm 11:24 PM

使用requests库抓取网页数据时遇到的问题及解决方案在使用Python的requests库获取网页数据时,有时会遇到获取到�...

使用Scapy爬虫时,管道文件无法写入的原因是什么? 使用Scapy爬虫时,管道文件无法写入的原因是什么? Apr 02, 2025 am 06:45 AM

使用Scapy爬虫时管道文件无法写入的原因探讨在学习和使用Scapy爬虫进行数据持久化存储时,可能会遇到管道文�...

Debian邮件服务器如何恢复 Debian邮件服务器如何恢复 Apr 02, 2025 am 07:33 AM

恢复Debian邮件服务器的详细步骤指南本文将指导您如何恢复Debian邮件服务器。在开始之前,务必记住数据备份的重要性。恢复步骤:备份数据:在执行任何恢复操作前,请务必备份所有重要的邮件数据和配置文件。这将确保在恢复过程中出现问题时,您拥有一个可回退的版本。检查日志文件:检查邮件服务器日志文件(例如/var/log/mail.log),查找错误或异常情况。日志文件通常能够提供关于问题原因的宝贵线索。停止服务:停止邮件服务以防止进一步的数据损坏。使用以下命令:su

Zookeeper性能调优在Debian上如何操作 Zookeeper性能调优在Debian上如何操作 Apr 02, 2025 am 07:42 AM

本文介绍如何在Debian系统上优化ZooKeeper性能。我们将从硬件、操作系统、ZooKeeper配置以及监控等方面提供建议。一、系统层面优化存储介质升级:使用SSD固态硬盘替换传统机械硬盘,显着提升I/O性能,降低访问延迟。禁用交换分区:通过调整内核参数,减少对交换分区的依赖,避免内存与磁盘频繁交换带来的性能损耗。提升文件描述符上限:增加系统允许同时打开的文件描述符数量,避免资源限制影响ZooKeeper的处理效率。二、ZooKeeper配置优化zoo.cfg文件配置

See all articles