Meta人工智能开发失误,不及时用GPU导致落后对手
一份内部备忘录显示,2022年夏末,Meta首席执行官马克·扎克伯格(Mark Zuckerberg)召集公司高管团队,分析公司计算能力长达五个小时,特别是处理尖端人工智能的能力。
备忘录指出,尽管Meta在人工智能研究方面进行了高调的投资、并且公司越来越依赖人工智能来支持其增长,但在主要业务采用昂贵的人工智能优化软硬件系统上,这家社交媒体巨头的速度比较缓慢,这妨碍了其在规模扩张中跟上创新步伐的能力。如果要支持人工智能工作,Meta需要“从根本上改变我们的物理基础设施设计、软件系统以及提供稳定平台的方法”。
据公司披露,此次改组使Meta的资本支出每季度增加了约40亿美元,几乎是2021年的两倍,并导致其暂停或取消了在四个地点建立数据中心的计划。
而Meta正面临着严峻财务困境,自去年11月以来,该公司一直在进行规模空前的裁员。
与此同时,去年11月ChatGPT横空出世,引发了科技巨头之间的竞争,它们纷纷发布生成式AI产品。而五位消息人士称,生成式AI需要大量的计算能力,这加剧了Meta扩容的紧迫性。
消息人士透露,Meta在人工智能上应用GPU较为缓慢,是主要问题之一。GPU芯片非常适合人工智能处理,因为它们可以同时执行大量任务,缩短了处理数十亿条数据所需的时间。然而,GPU芯片价格较高,芯片制造商Nvidia控制着80%的市场,并在相应的软件方面保持领先地位,消息人士称。
直到去年,Meta主要使用大量普通CPU来运行AI工作负载。CPU是计算机世界的主力芯片,虽然已经称霸数据中心几十年,但其在人工智能工作方面表现不佳。
这导致竞争对手在AI领域的发展超过了Meta。他们使用GPU芯片并拥有更好的AI软件,因此能够更快地开发新的AI产品和服务。
据两位消息人士透露,Meta公司还开始使用自己内部设计的定制芯片来训练AI。但到了2021年,这种双管齐下的方法被证明比以GPU为核心构建的方法更慢、效率更低效。GPU芯片在运行不同类型的模型方面也比Meta的芯片更加灵活,这两位消息人士说。
后来,随着扎克伯格将公司转向元宇宙,算力不足使得公司无法应对威胁,包括TikTok的崛起和苹果主导的广告隐私变化。
这些问题引起了前Meta董事会成员彼得·蒂尔(Peter Thiel)的关注。2022年初,他辞去了职务,没有解释原因。据两位知情人士透露,在他离任前的一次董事会会议上,蒂尔指出扎克伯格和他的高管们过于专注于元宇宙的发展,而忽视了Meta的核心社交媒体业务,这让公司容易受到TikTok等竞争对手的挑战。
Meta曾计划在2022年推出定制芯片,但后来放弃,转而在同年订购了数十亿美元的Nvidia GPU芯片。此时Meta已经落后于谷歌等同行,后者在2015年开始部署自己定制的GPU版本,称为TPU。
Meta接下来开始重组人工智能部门,任命了两位新的工程师领导。在这段时间内,数十位高管离开了Meta公司,几乎全部更换了人工智能基础设施领导层。
接下来,Meta公司开始改造其数据中心,以适应引进的GPU,这些芯片需要更多的功率和产生更多的热量,必须紧密地聚集在一起,并在它们之间进行专门的网络连接。这项工作需要大量的网络容量和新的液冷系统来管理集群的热量,因此需要对它们进行“完全重新设计”。
随着工作的推进,Meta开始内部计划开发一款更为雄心勃勃的新型芯片,类似于GPU,既能训练人工智能模型,又能进行推理。两位消息人士透露,该项目将于2025年左右完成。
Meta的发言人Jon Carvill拒绝就芯片项目发表评论。
虽然Meta正在扩大GPU规模,但微软和谷歌等公司正在推广商业生成式人工智能产品,而Meta在这方面没有太多实质性进展。
Meta首席财务官在二月份承认,公司目前没有将大部分计算能力用于生成式工作。她说:“基本上我们所有的人工智能能力都用于广告、动态消息和Reels。”Reels是Meta公司类似于TikTok的短视频格式,广受年轻用户欢迎。
据四位消息人士透露,Meta公司直到ChatGPT在去年11月份推出后,才开始优先考虑开发生成式人工智能产品。虽然公司的AI研究部门自2021年底以来一直在发布技术原型,但没有专注于将其转化为产品。然而,随着投资者的兴趣不断高涨,扎克伯格在今年2月份宣布成立了一支新的高层次生成式人工智能团队,他说这个团队将“加速”该公司在这一领域的工作。
首席技术官安德鲁·博斯沃思也在本月表示,生成式人工智能是他和扎克伯格花费最多时间的领域,并预测Meta公司将在今年推出新产品。
两位熟悉新团队的人士表示,该团队的工作处于早期阶段,主要是构建基础模型,这是一种核心程序,以后可以进行微调和适应不同的产品。
Meta公司发言人Carvill表示,该公司已经在不同的团队上开发生成式人工智能产品超过一年了。他确认,在ChatGPT推出后的几个月里,这项工作加速了。
以上是Meta人工智能开发失误,不及时用GPU导致落后对手的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

热门话题

本站6月27日消息,剪映是由字节跳动旗下脸萌科技开发的一款视频剪辑软件,依托于抖音平台且基本面向该平台用户制作短视频内容,并兼容iOS、安卓、Windows、MacOS等操作系统。剪映官方宣布会员体系升级,推出全新SVIP,包含多种AI黑科技,例如智能翻译、智能划重点、智能包装、数字人合成等。价格方面,剪映SVIP月费79元,年费599元(本站注:折合每月49.9元),连续包月则为59元每月,连续包年为499元每年(折合每月41.6元)。此外,剪映官方还表示,为提升用户体验,向已订阅了原版VIP

通过将检索增强生成和语义记忆纳入AI编码助手,提升开发人员的生产力、效率和准确性。译自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG,作者JanakiramMSV。虽然基本AI编程助手自然有帮助,但由于依赖对软件语言和编写软件最常见模式的总体理解,因此常常无法提供最相关和正确的代码建议。这些编码助手生成的代码适合解决他们负责解决的问题,但通常不符合各个团队的编码标准、惯例和风格。这通常会导致需要修改或完善其建议,以便将代码接受到应

大型语言模型(LLM)是在巨大的文本数据库上训练的,在那里它们获得了大量的实际知识。这些知识嵌入到它们的参数中,然后可以在需要时使用。这些模型的知识在训练结束时被“具体化”。在预训练结束时,模型实际上停止学习。对模型进行对齐或进行指令调优,让模型学习如何充分利用这些知识,以及如何更自然地响应用户的问题。但是有时模型知识是不够的,尽管模型可以通过RAG访问外部内容,但通过微调使用模型适应新的领域被认为是有益的。这种微调是使用人工标注者或其他llm创建的输入进行的,模型会遇到额外的实际知识并将其整合

Meta Connect 2024 活动定于 9 月 25 日至 26 日举行,在本次活动中,该公司预计将推出一款价格实惠的新型虚拟现实耳机。据传这款 VR 耳机是 Meta Quest 3S,它似乎已经出现在 FCC 清单上。这个建议

快准备好你的GPU!Llama3.1终于现身了,不过出处却不是Meta官方。今日,Reddit上新版Llama大模型泄露的消息遭到了疯传,除了基础模型,还包括8B、70B和最大参数的405B的基准测试结果。下图为Llama3.1各版本与OpenAIGPT-4o、Llama38B/70B的比较结果。可以看到,即使是70B的版本,也在多项基准上超过了GPT-4o。图源:https://x.com/mattshumer_/status/1815444612414087294显然,3.1版本的8B和70

编辑|ScienceAI问答(QA)数据集在推动自然语言处理(NLP)研究发挥着至关重要的作用。高质量QA数据集不仅可以用于微调模型,也可以有效评估大语言模型(LLM)的能力,尤其是针对科学知识的理解和推理能力。尽管当前已有许多科学QA数据集,涵盖了医学、化学、生物等领域,但这些数据集仍存在一些不足。其一,数据形式较为单一,大多数为多项选择题(multiple-choicequestions),它们易于进行评估,但限制了模型的答案选择范围,无法充分测试模型的科学问题解答能力。相比之下,开放式问答

刚刚,大家期待已久的Llama3.1官方正式发布了!Meta官方发出了「开源引领新时代」的声音。在官方博客中,Meta表示:「直到今天,开源大语言模型在功能和性能方面大多落后于封闭模型。现在,我们正在迎来一个开源引领的新时代。我们公开发布MetaLlama3.1405B,我们认为这是世界上最大、功能最强大的开源基础模型。迄今为止,所有Llama版本的总下载量已超过3亿次,我们才刚刚开始。」Meta创始人、CEO扎克伯格也亲自写了篇长文《OpenSourceAIIsthePathForward》,

自 Meta 首次发布 Quest 3(亚马逊售价 499.99 美元)以来,已经过去一年多了。此后,苹果推出了价格昂贵得多的 Vision Pro,而字节跳动现在在中国推出了 Pico 4 Ultra。然而,有
