首页 科技周边 人工智能 Meta人工智能开发失误,不及时用GPU导致落后对手

Meta人工智能开发失误,不及时用GPU导致落后对手

Apr 28, 2023 am 11:37 AM
人工智能 meta

Meta人工智能开发失误,不及时用GPU导致落后对手

一份内部备忘录显示,2022年夏末,Meta首席执行官马克·扎克伯格(Mark Zuckerberg)召集公司高管团队,分析公司计算能力长达五个小时,特别是处理尖端人工智能的能力。

备忘录指出,尽管Meta在人工智能研究方面进行了高调的投资、并且公司越来越依赖人工智能来支持其增长,但在主要业务采用昂贵的人工智能优化软硬件系统上,这家社交媒体巨头的速度比较缓慢,这妨碍了其在规模扩张中跟上创新步伐的能力。如果要支持人工智能工作,Meta需要“从根本上改变我们的物理基础设施设计、软件系统以及提供稳定平台的方法”。

据公司披露,此次改组使Meta的资本支出每季度增加了约40亿美元,几乎是2021年的两倍,并导致其暂停或取消了在四个地点建立数据中心的计划。

而Meta正面临着严峻财务困境,自去年11月以来,该公司一直在进行规模空前的裁员。

与此同时,去年11月ChatGPT横空出世,引发了科技巨头之间的竞争,它们纷纷发布生成式AI产品。而五位消息人士称,生成式AI需要大量的计算能力,这加剧了Meta扩容的紧迫性。

消息人士透露,Meta在人工智能上应用GPU较为缓慢,是主要问题之一。GPU芯片非常适合人工智能处理,因为它们可以同时执行大量任务,缩短了处理数十亿条数据所需的时间。然而,GPU芯片价格较高,芯片制造商Nvidia控制着80%的市场,并在相应的软件方面保持领先地位,消息人士称。

直到去年,Meta主要使用大量普通CPU来运行AI工作负载。CPU是计算机世界的主力芯片,虽然已经称霸数据中心几十年,但其在人工智能工作方面表现不佳。

这导致竞争对手在AI领域的发展超过了Meta。他们使用GPU芯片并拥有更好的AI软件,因此能够更快地开发新的AI产品和服务。

据两位消息人士透露,Meta公司还开始使用自己内部设计的定制芯片来训练AI。但到了2021年,这种双管齐下的方法被证明比以GPU为核心构建的方法更慢、效率更低效。GPU芯片在运行不同类型的模型方面也比Meta的芯片更加灵活,这两位消息人士说。

后来,随着扎克伯格将公司转向元宇宙,算力不足使得公司无法应对威胁,包括TikTok的崛起和苹果主导的广告隐私变化。

这些问题引起了前Meta董事会成员彼得·蒂尔(Peter Thiel)的关注。2022年初,他辞去了职务,没有解释原因。据两位知情人士透露,在他离任前的一次董事会会议上,蒂尔指出扎克伯格和他的高管们过于专注于元宇宙的发展,而忽视了Meta的核心社交媒体业务,这让公司容易受到TikTok等竞争对手的挑战。

Meta曾计划在2022年推出定制芯片,但后来放弃,转而在同年订购了数十亿美元的Nvidia GPU芯片。此时Meta已经落后于谷歌等同行,后者在2015年开始部署自己定制的GPU版本,称为TPU。

Meta接下来开始重组人工智能部门,任命了两位新的工程师领导。在这段时间内,数十位高管离开了Meta公司,几乎全部更换了人工智能基础设施领导层。

接下来,Meta公司开始改造其数据中心,以适应引进的GPU,这些芯片需要更多的功率和产生更多的热量,必须紧密地聚集在一起,并在它们之间进行专门的网络连接。这项工作需要大量的网络容量和新的液冷系统来管理集群的热量,因此需要对它们进行“完全重新设计”。

随着工作的推进,Meta开始内部计划开发一款更为雄心勃勃的新型芯片,类似于GPU,既能训练人工智能模型,又能进行推理。两位消息人士透露,该项目将于2025年左右完成。

Meta的发言人Jon Carvill拒绝就芯片项目发表评论。

虽然Meta正在扩大GPU规模,但微软和谷歌等公司正在推广商业生成式人工智能产品,而Meta在这方面没有太多实质性进展。

Meta首席财务官在二月份承认,公司目前没有将大部分计算能力用于生成式工作。她说:“基本上我们所有的人工智能能力都用于广告、动态消息和Reels。”Reels是Meta公司类似于TikTok的短视频格式,广受年轻用户欢迎。

据四位消息人士透露,Meta公司直到ChatGPT在去年11月份推出后,才开始优先考虑开发生成式人工智能产品。虽然公司的AI研究部门自2021年底以来一直在发布技术原型,但没有专注于将其转化为产品。然而,随着投资者的兴趣不断高涨,扎克伯格在今年2月份宣布成立了一支新的高层次生成式人工智能团队,他说这个团队将“加速”该公司在这一领域的工作。

首席技术官安德鲁·博斯沃思也在本月表示,生成式人工智能是他和扎克伯格花费最多时间的领域,并预测Meta公司将在今年推出新产品。

两位熟悉新团队的人士表示,该团队的工作处于早期阶段,主要是构建基础模型,这是一种核心程序,以后可以进行微调和适应不同的产品。

Meta公司发言人Carvill表示,该公司已经在不同的团队上开发生成式人工智能产品超过一年了。他确认,在ChatGPT推出后的几个月里,这项工作加速了。

以上是Meta人工智能开发失误,不及时用GPU导致落后对手的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

字节跳动剪映推出 SVIP 超级会员:连续包年 499 元,提供多种 AI 功能 字节跳动剪映推出 SVIP 超级会员:连续包年 499 元,提供多种 AI 功能 Jun 28, 2024 am 03:51 AM

本站6月27日消息,剪映是由字节跳动旗下脸萌科技开发的一款视频剪辑软件,依托于抖音平台且基本面向该平台用户制作短视频内容,并兼容iOS、安卓、Windows、MacOS等操作系统。剪映官方宣布会员体系升级,推出全新SVIP,包含多种AI黑科技,例如智能翻译、智能划重点、智能包装、数字人合成等。价格方面,剪映SVIP月费79元,年费599元(本站注:折合每月49.9元),连续包月则为59元每月,连续包年为499元每年(折合每月41.6元)。此外,剪映官方还表示,为提升用户体验,向已订阅了原版VIP

使用Rag和Sem-Rag提供上下文增强AI编码助手 使用Rag和Sem-Rag提供上下文增强AI编码助手 Jun 10, 2024 am 11:08 AM

通过将检索增强生成和语义记忆纳入AI编码助手,提升开发人员的生产力、效率和准确性。译自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG,作者JanakiramMSV。虽然基本AI编程助手自然有帮助,但由于依赖对软件语言和编写软件最常见模式的总体理解,因此常常无法提供最相关和正确的代码建议。这些编码助手生成的代码适合解决他们负责解决的问题,但通常不符合各个团队的编码标准、惯例和风格。这通常会导致需要修改或完善其建议,以便将代码接受到应

微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉 微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉 Jun 11, 2024 pm 03:57 PM

大型语言模型(LLM)是在巨大的文本数据库上训练的,在那里它们获得了大量的实际知识。这些知识嵌入到它们的参数中,然后可以在需要时使用。这些模型的知识在训练结束时被“具体化”。在预训练结束时,模型实际上停止学习。对模型进行对齐或进行指令调优,让模型学习如何充分利用这些知识,以及如何更自然地响应用户的问题。但是有时模型知识是不够的,尽管模型可以通过RAG访问外部内容,但通过微调使用模型适应新的领域被认为是有益的。这种微调是使用人工标注者或其他llm创建的输入进行的,模型会遇到额外的实际知识并将其整合

新款经济实惠的 Meta Quest 3S VR 耳机出现在 FCC 上,暗示即将推出 新款经济实惠的 Meta Quest 3S VR 耳机出现在 FCC 上,暗示即将推出 Sep 04, 2024 am 06:51 AM

Meta Connect 2024 活动定于 9 月 25 日至 26 日举行,在本次活动中,该公司预计将推出一款价格实惠的新型虚拟现实耳机。据传这款 VR 耳机是 Meta Quest 3S,它似乎已经出现在 FCC 清单上。这个建议

首个超越GPT4o级开源模型!Llama 3.1泄密:4050亿参数,下载链接、模型卡都有了 首个超越GPT4o级开源模型!Llama 3.1泄密:4050亿参数,下载链接、模型卡都有了 Jul 23, 2024 pm 08:51 PM

快准备好你的GPU!Llama3.1终于现身了,不过出处却不是Meta官方。今日,Reddit上新版Llama大模型泄露的消息遭到了疯传,除了基础模型,还包括8B、70B和最大参数的405B的基准测试结果。下图为Llama3.1各版本与OpenAIGPT-4o、Llama38B/70B的比较结果。可以看到,即使是70B的版本,也在多项基准上超过了GPT-4o。图源:https://x.com/mattshumer_/status/1815444612414087294显然,3.1版本的8B和70

为大模型提供全新科学复杂问答基准与测评体系,UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架 为大模型提供全新科学复杂问答基准与测评体系,UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架 Jul 25, 2024 am 06:42 AM

编辑|ScienceAI问答(QA)数据集在推动自然语言处理(NLP)研究发挥着至关重要的作用。高质量QA数据集不仅可以用于微调模型,也可以有效评估大语言模型(LLM)的能力,尤其是针对科学知识的理解和推理能力。尽管当前已有许多科学QA数据集,涵盖了医学、化学、生物等领域,但这些数据集仍存在一些不足。其一,数据形式较为单一,大多数为多项选择题(multiple-choicequestions),它们易于进行评估,但限制了模型的答案选择范围,无法充分测试模型的科学问题解答能力。相比之下,开放式问答

最强模型Llama 3.1 405B正式发布,扎克伯格:开源引领新时代 最强模型Llama 3.1 405B正式发布,扎克伯格:开源引领新时代 Jul 24, 2024 pm 08:23 PM

刚刚,大家期待已久的Llama3.1官方正式发布了!Meta官方发出了「开源引领新时代」的声音。在官方博客中,Meta表示:「直到今天,开源大语言模型在功能和性能方面大多落后于封闭模型。现在,我们正在迎来一个开源引领的新时代。我们公开发布MetaLlama3.1405B,我们认为这是世界上最大、功能最强大的开源基础模型。迄今为止,所有Llama版本的总下载量已超过3亿次,我们才刚刚开始。」Meta创始人、CEO扎克伯格也亲自写了篇长文《OpenSourceAIIsthePathForward》,

分析师讨论传闻中的 Meta Quest 3S VR 耳机的发布定价 分析师讨论传闻中的 Meta Quest 3S VR 耳机的发布定价 Aug 27, 2024 pm 09:35 PM

自 Meta 首次发布 Quest 3(亚马逊售价 499.99 美元)以来,已经过去一年多了。此后,苹果推出了价格昂贵得多的 Vision Pro,而字节跳动现在在中国推出了 Pico 4 Ultra。然而,有

See all articles