首页 科技周边 人工智能 Meta 推出 AI 语言模型 LLaMA,一个有着 650 亿参数的大型语言模型

Meta 推出 AI 语言模型 LLaMA,一个有着 650 亿参数的大型语言模型

Apr 14, 2023 pm 06:58 PM
ai 语言模型 meta

Meta 推出 AI 语言模型 LLaMA,一个有着 650 亿参数的大型语言模型

2 月 25 日消息,Meta 在当地时间周五宣布,它将推出一种针对研究社区的基于人工智能 (AI) 的新型大型语言模型,与微软、谷歌等一众受到 ChatGPT 刺激的公司一同加入人工智能竞赛。

Meta 的 LLaMA 是“大型语言模型 Meta AI” (Large Language Model Meta AI)的缩写,它可以在非商业许可下提供给政府、社区和学术界的研究人员和实体工作者。

该公司将提供底层代码供用户使用,因此用户可以自行调整模型,并将其用于与研究相关的用例。Meta 表示,该模型对算力的要求“低得多”。

据介绍,该公司正在开发多种参数(7B、13B、33B 和 65B)的 LLaMA。其中,LLaMA 65B 和 LLaMA 33B 在 1.4 万亿个 tokens 上训练,而最小的模型 LLaMA 7B 也经过了 1 万亿个 tokens 的训练。

与其他大型语言模型一样,LLaMA 的工作原理是将一系列单词作为“输入”并预测下一个单词以递归生成文本。为了这套模型,Meta 从使用人数最多的 20 种语言中选择文本进行训练,重点是拉丁语和西里尔字母。

当然,与其他模型一样,LLaMA 也面临着偏见、有毒评论和幻觉的挑战,Meta 还需要做更多的研究来解决这类语言模型中的不足。

Meta 表示,LLaMA 作为一个基础模型被设计成多功能的,可以应用于许多不同的用例,而不是为特定任务设计的微调模型。通过开源 LLaMA 的代码,其他研究人员可以更轻松地找到限制或消除这些问题的新方法。Meta 还在本文中提供了一组评估模型偏差和毒性的基准评估标准,以显示模型的局限性并支持研究人员在这一关键领域的进一步研究。

值得一提的是,Meta 在去年 5 月也曾推出过大型语言模型 OPT-175B。该项目同样也是针对研究人员的,这构成了其聊天机器人 blenterbot 新迭代的基础。

后来,该公司还推出了一款名为“卡拉狄加”(Galactica) 的模型,据称它可以撰写科学文章和解决数学问题,但其演示版本后来被下架,因为它反复生成“听起来很权威”的内容。

IT之家附官方链接:

以上是Meta 推出 AI 语言模型 LLaMA,一个有着 650 亿参数的大型语言模型的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前 By 尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
3 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

2025年币圈十大虚拟币app交易所最新排行榜 2025年币圈十大虚拟币app交易所最新排行榜 Mar 27, 2025 pm 07:27 PM

2025年十大虚拟币交易App排行榜如下:1. OKX,2. Binance,3. Gate.io,4. Bybit,5. Kraken,6. KuCoin,7. Bitget,8. HTX,9. MEXC,10. Coinbase。该排行榜基于安全性、流动性、用户体验和功能丰富度等综合评测得出。

十大数字虚拟货币交易所app榜单汇总2025年 十大数字虚拟货币交易所app榜单汇总2025年 Mar 27, 2025 pm 07:18 PM

2025年十大数字虚拟币交易App排行榜如下:1. OKX,2. Binance,3. Gate.io,4. Bybit,5. Kraken,6. KuCoin,7. Bitget,8. HTX,9. MEXC,10. Coinbase。该排行榜基于安全性、流动性、用户体验和功能丰富度等综合评测得出。

哪些交易所发布pi消息 哪些交易所发布pi消息 Mar 28, 2025 pm 03:33 PM

Pi Network尚未在主流交易所正式上线交易。截至2024年,Pi仍处于封闭主网阶段,仅部分中小型交易所提供IOU交易,官方未授权任何交易,建议通过官方渠道挖矿并等待主网开放后在合规交易所交易。

哪些交易所支持heco 哪些交易所支持heco Mar 28, 2025 pm 03:36 PM

截至2024年,仍支持Heco链或Heco代币的主要交易所有:1. HTX(原火币Huobi),官方支持Heco链USDT和代币交易;2. MDEX,基于Heco的DEX,支持Heco链代币交易;3. Gate.io,支持部分Heco链代币的充提;4. KuCoin,部分Heco链代币仍可交易;5. 去中心化交易所如PancakeSwap和Uniswap,需跨链交易,注意Heco链流动性低且项目迁移情况。

如何在Node.js环境中解决第三方接口返回403的问题? 如何在Node.js环境中解决第三方接口返回403的问题? Mar 31, 2025 pm 11:27 PM

在Node.js环境中解决第三方接口返回403的问题当我们在使用Node.js调用第三方接口时,有时会遇到接口返回403错误�...

在 Laravel 中,如何处理邮件发送验证码失败的情况? 在 Laravel 中,如何处理邮件发送验证码失败的情况? Mar 31, 2025 pm 11:48 PM

Laravel邮件发送验证码失败时的处理方法在使用Laravel...

如何在系统重启后自动设置unixsocket的权限? 如何在系统重启后自动设置unixsocket的权限? Mar 31, 2025 pm 11:54 PM

如何在系统重启后自动设置unixsocket的权限每次系统重启后,我们都需要执行以下命令来修改unixsocket的权限:sudo...

狗狗币2025会涨到多少 狗狗币2025会涨到多少 Mar 28, 2025 pm 03:48 PM

狗狗币(DOGE)在2025年的价格可能在0.1-1美元之间,具体取决于市场周期和突发事件:1. 牛市和马斯克推动可能使DOGE涨至0.5-1美元;2. 温和上涨和局部利好可能使DOGE在0.2-0.5美元之间;3. 熊市和监管打击可能使DOGE跌至0.05-0.1美元。

See all articles