把脚本变成视频,人工智能只需要一步
Meta在一篇宣布这项工作的博客文章中表示:“生成式人工智能研究为人们提供了快速、轻松创建新内容的工具,从而推动了创造性表达的发展。只需几句话或几行文字,Make-A-Video就能将想象力赋予生命,创造出独一无二的充满生动色彩和风景的视频。”
Meta首席执行官马克·扎克伯格在Facebook上称这项工作是“惊人的进步”,并补充说:“生成视频比生成照片要困难得多,因为除了正确生成每个像素外,系统还必须预测它们将如何随时间变化。”
这些视频不超过5秒,不包含任何音频,但包含了大量的提示。判断模型性能的最佳方法是观察它的输出。不过目前不允许任何人访问模型。这意味着这些片段可能是研发人员精心挑选出来的,以最好的方式展示这个系统。
同样,虽然这些视频显然是计算机生成的,但这种人工智能模型的输出在不久的将来将迅速提高。相比之下,在短短几年的时间里,人工智能图像生成器已经从创造难以理解的边缘图片发展到逼真的内容。尽管视频的进展可能会因为这一主题的近乎无限的复杂性而缓慢,但无缝视频生成的价值将激励许多机构和公司向该项目投入大量资源。
与文本到图像模型一样,有可能也会产生有害的应用。
Meta在宣布Make-a-Video的博客中指出,视频生成工具“对创作者和艺术家”来说可能是无价的。但是,就像从文本到图像的模式一样,前景也令人担忧。这些工具的输出可能被用于虚假信息、宣传。
Meta表示,它希望“对如何构建这样的生成式AI系统进行深思熟虑”,目前只发表了一篇关于Make-A-Video模型的论文。该公司表示,计划发布该系统的演示版本,但没有说明何时或如何限制对该模型的访问。
值得一提的是,Meta并不是唯一一家致力于AI视频生成器的机构。今年早些时候,清华大学和北京人工智能研究院(BAAI)的一组研究人员发布了他们自己的文本到视频模型,命名为CogVideo。
Meta的研究人员在一篇描述该模型的论文中指出,Make-A-Video正在对成对的图像和标题以及未标记的视频片段进行训练。培训内容来自两个数据集(WebVid-10M和HD-VILA-100M),这两个数据集总共包含了数百万个视频,跨越数十万小时的镜头。这包括由Shutterstock等网站创建并从网上抓取的库存视频片段。
研究人员在论文中指出,除了模糊的镜头和不连贯的动画外,该模型还有许多技术局限性。例如,它们的训练方法无法学习可能只有人类观看视频时才能推断出的信息——例如,一个挥手的视频是从左向右还是从右向左。其他问题包括生成超过5秒的视频,包含多个场景和事件的视频,以及更高的分辨率。Make-A-Video目前输出16帧分辨率为64 * 64像素的视频,然后使用单独的人工智能模型将其尺寸提高到768 * 768。
Meta的团队还指出,就像所有使用从网络上抓取的数据训练的人工智能模型一样,Make-A-Video学习并可能夸大了社会偏见,包括有害的偏见。在文本到图像的模型中,这些偏见通常会强化社会偏见。例如,让一个生成一个“恐怖分子”的图像,它很可能描绘的是一个戴着头巾的人。然而,在没有开放访问的情况下,很难说Meta的模型学习到了什么偏见。
Meta表示,该公司“正在与技术社区公开分享这种生成式AI研究和结果,以获得他们的反馈,并将继续使用我们负责任的AI框架来完善和发展我们对这种新兴技术的方法。”
随着绘画和视频领域人工智能生成器逐渐火热,相信很快(也许已经)就会出现其他艺术(比如音乐)的人工智能生成工具了。
以上是把脚本变成视频,人工智能只需要一步的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

热门话题

本站6月27日消息,剪映是由字节跳动旗下脸萌科技开发的一款视频剪辑软件,依托于抖音平台且基本面向该平台用户制作短视频内容,并兼容iOS、安卓、Windows、MacOS等操作系统。剪映官方宣布会员体系升级,推出全新SVIP,包含多种AI黑科技,例如智能翻译、智能划重点、智能包装、数字人合成等。价格方面,剪映SVIP月费79元,年费599元(本站注:折合每月49.9元),连续包月则为59元每月,连续包年为499元每年(折合每月41.6元)。此外,剪映官方还表示,为提升用户体验,向已订阅了原版VIP

通过将检索增强生成和语义记忆纳入AI编码助手,提升开发人员的生产力、效率和准确性。译自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG,作者JanakiramMSV。虽然基本AI编程助手自然有帮助,但由于依赖对软件语言和编写软件最常见模式的总体理解,因此常常无法提供最相关和正确的代码建议。这些编码助手生成的代码适合解决他们负责解决的问题,但通常不符合各个团队的编码标准、惯例和风格。这通常会导致需要修改或完善其建议,以便将代码接受到应

大型语言模型(LLM)是在巨大的文本数据库上训练的,在那里它们获得了大量的实际知识。这些知识嵌入到它们的参数中,然后可以在需要时使用。这些模型的知识在训练结束时被“具体化”。在预训练结束时,模型实际上停止学习。对模型进行对齐或进行指令调优,让模型学习如何充分利用这些知识,以及如何更自然地响应用户的问题。但是有时模型知识是不够的,尽管模型可以通过RAG访问外部内容,但通过微调使用模型适应新的领域被认为是有益的。这种微调是使用人工标注者或其他llm创建的输入进行的,模型会遇到额外的实际知识并将其整合

想了解更多AIGC的内容,请访问:51CTOAI.x社区https://www.51cto.com/aigc/译者|晶颜审校|重楼不同于互联网上随处可见的传统问题库,这些问题需要跳出常规思维。大语言模型(LLM)在数据科学、生成式人工智能(GenAI)和人工智能领域越来越重要。这些复杂的算法提升了人类的技能,并在诸多行业中推动了效率和创新性的提升,成为企业保持竞争力的关键。LLM的应用范围非常广泛,它可以用于自然语言处理、文本生成、语音识别和推荐系统等领域。通过学习大量的数据,LLM能够生成文本

机器学习是人工智能的重要分支,它赋予计算机从数据中学习的能力,并能够在无需明确编程的情况下改进自身能力。机器学习在各个领域都有着广泛的应用,从图像识别和自然语言处理到推荐系统和欺诈检测,它正在改变我们的生活方式。机器学习领域存在着多种不同的方法和理论,其中最具影响力的五种方法被称为“机器学习五大派”。这五大派分别为符号派、联结派、进化派、贝叶斯派和类推学派。1.符号学派符号学(Symbolism),又称为符号主义,强调利用符号进行逻辑推理和表达知识。该学派认为学习是一种逆向演绎的过程,通过已有的

编辑|ScienceAI问答(QA)数据集在推动自然语言处理(NLP)研究发挥着至关重要的作用。高质量QA数据集不仅可以用于微调模型,也可以有效评估大语言模型(LLM)的能力,尤其是针对科学知识的理解和推理能力。尽管当前已有许多科学QA数据集,涵盖了医学、化学、生物等领域,但这些数据集仍存在一些不足。其一,数据形式较为单一,大多数为多项选择题(multiple-choicequestions),它们易于进行评估,但限制了模型的答案选择范围,无法充分测试模型的科学问题解答能力。相比之下,开放式问答

编辑|KX在药物研发领域,准确有效地预测蛋白质与配体的结合亲和力对于药物筛选和优化至关重要。然而,目前的研究没有考虑到分子表面信息在蛋白质-配体相互作用中的重要作用。基于此,来自厦门大学的研究人员提出了一种新颖的多模态特征提取(MFE)框架,该框架首次结合了蛋白质表面、3D结构和序列的信息,并使用交叉注意机制进行不同模态之间的特征对齐。实验结果表明,该方法在预测蛋白质-配体结合亲和力方面取得了最先进的性能。此外,消融研究证明了该框架内蛋白质表面信息和多模态特征对齐的有效性和必要性。相关研究以「S

本站8月1日消息,SK海力士今天(8月1日)发布博文,宣布将出席8月6日至8日,在美国加利福尼亚州圣克拉拉举行的全球半导体存储器峰会FMS2024,展示诸多新一代产品。未来存储器和存储峰会(FutureMemoryandStorage)简介前身是主要面向NAND供应商的闪存峰会(FlashMemorySummit),在人工智能技术日益受到关注的背景下,今年重新命名为未来存储器和存储峰会(FutureMemoryandStorage),以邀请DRAM和存储供应商等更多参与者。新产品SK海力士去年在
