- 方向:
- 全部 网络3.0 后端开发 web前端 数据库 运维 开发工具 php框架 每日编程 微信小程序 常见问题 其他 科技 CMS教程 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 手游教程
- 分类:
-
- 大模型压缩量化方案怎么选?无问芯穹Qllm-Eval量化方案全面评估:多模型、多参数、多维度
- 基于Transformer架构的大型语言模型在各种基准测试中展现出优异性能,但数百亿、千亿乃至万亿量级的参数规模会带来高昂的服务成本。例如GPT-3有1750亿参数,采用FP16存储,模型大小约为350GB,而即使是英伟达最新的B200GPU内存也只有192GB,更不用说其他GPU和边缘设备。大模型压缩,即将大模型“瘦身”后塞进资源受限的场景,以减少模型存储、访存和计算开销。在尽量不损失模型性能的前提下,提高大模型推理吞吐速度,使大模型在物联网边缘设备、嵌入式机器人、离线移动应用等
- 人工智能 726 2024-08-05 20:56:12
-
- 大模型微调非得依赖人类数据吗?DeepMind:用带反馈的自训练更好
- 面对当前微调大模型主要依赖人类生成数据的普遍做法,谷歌DeepMind探索出了一种减少这种依赖的更高效方法。如你我所见,大语言模型(LLM)正在改变深度学习的格局,在生成人类质量的文本和解决各种语言任务方面展现出了卓越的能力。虽然业界通过对人类收集的数据进行监督微调进一步提升了在具体任务上的性能,但获取高质量人类数据却面临着重大瓶颈。这对于要解决复杂问题的任务来说尤为明显,需要大量资源和专业知识。怎么解决呢?模型生成得合成数据是一种有潜力的替代方案,只要能保证数据的质量,就能实现可扩展性和成本效
- 人工智能 988 2024-08-05 20:48:40
-
- 新质互融,算力共振:玻色量子发布新一代550计算量子比特相干光量子计算机
- 2024年4月18日,北京玻色量子科技有限公司(以下简称“玻色量子”)以“新质互融,算力共振”为主题,在北京·望京成功召开2024年新品发布会,重磅发布了新一代550计算量子比特的相干光量子计算机——“天工量子大脑550W”及开物SDK等核心研究成果,充分展现出量子计算与AI的融合,是实用化量子计算的起点。2024年,量子技术作为未来产业、新质生产力发展的重要组成部分,北京未来产业布局中明确提出建
- 人工智能 1289 2024-08-05 20:43:00
-
- 苹果让大模型学会偷懒:更快吐出第一个token,准确度还保住了
- 偷懒才能更好地工作。Llama3.1刚刚发布,你是否已经尝试了呢?就算你的个人计算机是最近的顶尖配置,运行其中最小的8B版本可能也依然会有明显延迟。为了提升模型的推理效率,研究者想出了多种多样的方法,但其中很多都会让模型牺牲一些准确度。近日,苹果和MetaAI的一个研究团队提出了一种新方法,可在保证准确度不明显下降的同时,将Llama2预填充阶段的推理速度提升到原来的2倍以上,这或许能为Llama3.1的加速提供一些启发。他们把这种方法称为LazyLLM,即懒惰大型语言模型。论文标题:LazyL
- 人工智能 661 2024-08-05 20:41:02
-
- Nature子刊,快10倍,基于Transformer的逆向蛋白质序列设计方法
- 编辑|萝卜皮借助深度学习的进步,蛋白质设计和工程正以前所未有的速度发展。然而,目前的模型无法在设计过程中自然地考虑非蛋白质实体。在这里,瑞士洛桑联邦理工学院(EPFL)的研究人员提出了一种完全基于原子坐标和元素名称的几何transformer的深度学习方法,该方法可以根据不同分子环境所施加限制的主链支架,预测蛋白质序列。使用该方法,研究人员可以以高成功率生产出高热稳定性、催化活性的酶。这有望提高蛋白质设计流程的多功能性,以实现所需的功能。该研究以「Context-awaregeometricde
- 人工智能 1064 2024-08-05 20:33:31
-
- Transformer作者回流谷歌,Character.AI创始团队被「收购」,只要人不要公司
- AI初创者的归宿还是大厂?一觉醒来,生成式AI的「吃鸡大赛」再次缩圈了。初创公司Character.AI周五宣布已与谷歌签署协议,谷歌将获得Character.AI的大型语言模型(LLM)技术的非独家许可。谷歌还宣布重新雇佣NoamShazeer和DanielDeFreitas。其中,NoamShazeer是Character.AI的创始人、CEO,也是Transformer论文作者之一,他曾在谷歌任首席软件工程师。而DanielDeFreitas是Character.AI的总裁,曾在谷歌担任高
- 人工智能 941 2024-08-05 20:17:10
-
- 高清视频竟不是真的,几张照片渲染的3D场景让你难辨真伪
- 请注意,上述动图完全是由多张照片渲染出来的3D场景。人类很难发现它们的破绽。那让我们一起看看,这种场景是怎样实现的。网格和点是最常见的三维场景表示法,因为它们是显式的,非常适合基于GPU/CUDA的快速光栅化。相比之下,最新的神经辐射场(NeRF)方法建立在连续场景表征的基础上,通常使用体积光线渲染优化多层感知器(MLP),对捕捉到的场景进行新视角合成。虽然这些方法的连续性有助于优化,但渲染所需的随机取样成本很高,而且会产生噪声。来自法国蔚蓝海岸大学的研究者引入了一种新方法,能够结合这两种方法的
- 人工智能 701 2024-08-05 20:15:51
-
- 延迟交互模型,为什么是下一代RAG的标配?
- AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com张颖峰:英飞流联合创始人,多年搜索、AI、Infra基础设施开发经历,目前正致力于下一代RAG核心产品建设。在RAG系统开发中,良好的Reranker模型处于必不可少的环节,也
- 人工智能 1250 2024-08-05 20:15:22
-
- ECCV2024 | 哈佛团队开发FairDomain,实现跨域医学图像分割和分类中的公平性
- 编辑|ScienceAI作者|YuTian团队在人工智能(AI),特别是医疗AI领域中,解决公平性问题对于确保公平的医疗结果至关重要。最近,增强公平性的努力引入了新的方法和数据集。然而,在域转移的背景下,公平性问题几乎没有得到探索,尽管诊所常常依赖不同的成像技术(例如,不同的视网膜成像方式)进行患者诊断。本文提出了FairDomain,这是首次系统性研究算法在域转移下的公平性,我们测试了最先进的域适应(DA)和域泛化(DG)算法,用于医学图像分割和分类任务,旨在了解bias如何在不同域之间转移。
- 人工智能 1334 2024-08-05 20:04:36
-
- 从现在起,GitHub上超1亿开发者可直接访问全球顶级大模型,构建AI应用
- GitHub推出的全新功能「GitHubModels」将有望加快AI工程师时代的到来。什么?大家熟悉的代码托管平台GitHub又进化了!该平台也开始提供AI大模型的Playgroud了。所有你能叫得上名字的业界流行大模型,包括微软的Phi-3、OpenAI的GPT-4o、Meta的Llama3.1、Cohere的CommandR+、MistralAI的MistralLarge,都可以在一个交互式沙盒中试用。在未来几个月,Github也将添加更多语言、视觉以及其他类型的模型。也就是说,这张图上的模
- 人工智能 1189 2024-08-05 19:36:38
-
- AI 在用 | 用大模型写「发光」文案,篇篇国色生香
- 机器之能投稿作者:贾思嫄以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式,但绝大部分人依然不知道该如何使用。因此,我们推出了「AI在用」专栏,通过直观、有趣且简洁的人工智能使用案例,来具体介绍AI使用方法,并激发大家思考。我们也欢迎读者投稿亲自实践的创新型用例。投稿邮箱:content@jiqizhixin.com前两天看到机器之能发的一篇AI应用小文,用大模型写「发疯」文案,有点意思,大体流程是先让大模型品几段「让你笑出帕金森」的搞笑标题和文案,让大模型概括出文案的风格
- 人工智能 703 2024-08-05 19:26:47
-
- Sora之后,OpenAI Lilian Weng亲自撰文教你从头设计视频生成扩散模型
- 过去几年来,扩散模型强大的图像合成能力已经得到充分证明。研究社区现在正在攻克一个更困难的任务:视频生成。近日,OpenAI安全系统(SafetySystems)负责人LilianWeng写了一篇关于视频生成的扩散模型的博客。LilianWeng本站对这篇博客进行了不改变原意的编译、整理,以下是博客原文:视频生成任务本身是图像合成的超集,因为图像就是单帧视频。视频合成的难度要大得多,原因是:1.视频合成还需要不同帧之间保持时间一致性,很自然,这需要将更多世界知识编码到模型之中。2.相比于文本或图像
- 人工智能 1052 2024-08-05 19:20:02
-
- 实测7款「Sora级」视频生成神器,谁有本事登上「铁王座」?
- 机器之能报道编辑:杨文谁能成为AI视频圈的King?美剧《权力的游戏》中,有一把「铁王座」。传说,它由巨龙「黑死神」熔掉上千把敌人丢弃的利剑铸成,象征着无上的权威。为了坐上这把铁椅子,各大家族展开了一场场争斗和厮杀。而自Sora出现以来,AI视频圈也掀起了一场轰轰烈烈的「权力的游戏」,这场游戏的玩家主要有大洋彼岸的RunwayGen-3、Luma,国内的快手可灵、字节即梦、智谱清影、Vidu、PixVerseV2等。今天我们就来测评一下,看看究竟谁有资格登上AI视频圈的「铁王座」。-1-文生视频
- 人工智能 1036 2024-08-05 19:19:51
-
- AI助攻人类画家拿下艺术大赛第一名,背后有啥独家秘籍?
- 两年前,在美国科罗拉多州博览会艺术比赛上,一幅名为《太空歌剧院》的作品拿了第一名。此画气势恢弘、明暗有致,颇有法国象征主义画家古斯塔夫・莫罗的味道。只不过,它不是人画的,而是由一位没有任何绘画基础的参赛者,借助AI绘图工具完成的。我们再把时间拨回到2018年。彼时,一幅名为《埃德蒙・贝拉米画像》的AI画作在纽约佳士得拍卖行,拍出了40多万美元的高价。这是第一幅被拍卖的人工智能作品,由此也标志着AI艺术作品开始被市场认可。如今,AI绘画早已司空见惯,国内外的AI玩家纷纷下场,都要把这一赛道卷冒烟了
- 人工智能 726 2024-08-05 18:29:12
-
- 小技巧大功效,「仅阅读两次提示」让循环语言模型超越Transformer++
- 在当前AI领域,大语言模型采用的主流架构是Transformer。不过,随着RWKV、Mamba等架构的陆续问世,出现了一个很明显的趋势:在语言建模困惑度方面与Transformer较量的循环大语言模型正在快速进入人们的视线。令人兴奋的是,这些架构在推理期间使用了恒定量的内存。不过,受制于有限的内存,循环语言模型(LM)无法记忆并使用长上下文中的所有信息,这导致了上下文学习(in-contextlearning,ICL)质量的不佳。因此,获得高效大语言模型的关键挑战在于选择存储或者丢弃哪些信息。
- 人工智能 656 2024-08-05 17:09:49