目录
发现合成数据的好处
1.开发原型
2. 确保数据隐私
3. 前所未有的场景测试和训练
4. 提高数据灵活性
5. 探索合成数据的局限性
6. 克服挑战
首页 科技周边 人工智能 合成数据能让人工智能变得更好吗?

合成数据能让人工智能变得更好吗?

Apr 08, 2023 pm 10:51 PM
人工智能 机器学习 数据

尽管人工智能 (AI) 由于指数级的发展而变得更加先进,但这种现代技术的局限性仍然存在。

那么,合成数据能否成为所有与人工智能相关的问题的解决方案?

在第四次工业革命中,每个行业都发现了现代技术的潜力;比如人工智能(AI)和机器学习(ML)。

几乎所有其他组织都在部署 AI 以创建更高效的业务流程并确保更好的客户满意度。但是,初创公司、SOHO 和中小型企业 (SMB) 在采用 AI 时面临一个重大问题——这就是所谓的 冷启动问题。虽然初创公司和中小企业一般没有资源收集大数据,但冷启动问题基本上是缺乏此类相关数据。

另一方面,行业巨头已经拥有资源来收集真实世界的数据并将这些数据应用于训练他们的人工智能系统。因此,对中小型企业的胜算很大。在这种情况下,合成数据可能是必要的启动器。

合成数据可以成为数据驱动的商业模式背后的驱动力。此外,研究表明 合成数据产生与真实数据相同的结果。 与真实数据相比,合成数据被认为更便宜且处理时间更短。因此,合成数据的出现可以平衡目前由大公司主导的竞争环境,有利于中小企业和初创公司。

发现合成数据的好处

合成数据是基于用户指定参数的计算机生成的人工数据,以确保数据尽可能接近真实世界的历史数据。通常,Unreal 引擎和 Unity 等游戏引擎通常用作模拟环境,用于测试和训练基于 AI 的应用,例如自动驾驶汽车。基于合成数据开发人工智能驱动的应用程序有很多优势。其中一些优势包括:

合成数据能让人工智能变得更好吗?

1.开发原型

查找、聚合和建模大量相关的真实数据是一个乏味的过程。因此,生成合成数据可能是最佳解决方案。此类数据将能够在大规模生产之前构建原型并测试此类原型以获得所需的结果。与真实数据相比,使用合成数据构建原型更高效、更具成本效益。

非营利性人工智能研究公司 Open AI 正在开发大量基于人工智能的应用。在这些应用中,研究人员开发了用合成数据训练的机器人,可以在看到一个动作只执行一次后学习一项新任务。一家美国加州科技初创公司正在开发一个人工智能平台,其愿景类似于 Amazon Go。这家初创公司旨在借助合成数据为便利店和零售商提供免结账解决方案。他们还引入了人工智能驱动的智能系统来监控商店中的每一位购物者,以识别和分析他们的学习模式。

2. 确保数据隐私

2018 年 11 月,  5 亿万豪客户在一次备受瞩目的数据泄露事件中受到影响。在这 5 亿人中,有 3.27 亿用户的护照信息、电子邮件地址、邮寄地址和信用卡信息等数据被盗。由于此类事件,人们担心其数据的安全性和隐私性。

合成数据可以有效地解决此类隐私问题。合成数据不包括任何个人数据。因此,可以轻松确保数据隐私。合成数据在为医疗保健应用训练 AI 系统方面非常有用。人工智能系统通常需要真实的患者数据。这威胁到患者的隐私。合成数据允许在医疗保健领域开发先进的人工智能应用程序,同时保持患者的机密性。

例如,来自 Nvidia 的研究人员正在与明尼苏达州的 Mayo Clinic 以及波士顿的 MGH 和 BWH 临床数据科学中心合作,正在 使用生成对抗网络来生成用于训练神经网络的合成数据。 生成的合成数据包含来自阿尔茨海默病神经影像学倡议数据集的 3,400 个 MRI 和来自多模态脑肿瘤图像分割基准数据集的 200 个 4D 脑 MRI 和肿瘤。同样,模拟 X 射线也可以与实际 X 射线一起使用,以训练 AI 系统识别多种健康状况。

3. 前所未有的场景测试和训练

开发 AI 驱动的应用最重要的过程之一是测试系统性能。如果系统没有产生所需的输出,则需要对其进行重新训练。在这种情况下,合成数据可以证明是有益的。合成数据可以生成场景来测试 AI 系统,而不是使用真实数据或在真实环境中测试系统。这种方法比获取真实数据便宜且耗时更少。

同样,合成数据还可以针对未来可能出现的缺乏真实数据或事件的场景训练新的或现有的系统。通过这种方法,研究人员可以开发更具未来感的人工智能应用。此外,使用合成数据重新训练 AI 系统更简单,因为生成合成数据比收集准确的真实数据要简单。

由于这些好处,合成数据已成为测试和训练自动驾驶汽车的一种可访问的替代方案。许多自动驾驶汽车开发人员正在使用 GTA V 等模拟游戏环境来训练他们的基于人工智能的系统。同样,May Mobility 正在通过使用合成数据训练他们的车辆来构建自动驾驶微型交通服务。

另一家名为 Waymo 的自动驾驶汽车开发商已经通过在模拟道路上行驶 50 亿英里和在真实道路上再行驶 800 万英里来测试其自动驾驶汽车。合成数据方法允许开发人员在模拟道路上测试他们的自动驾驶汽车,这比在实际道路上直接测试要安全得多。

4. 提高数据灵活性

获取真实数据是一个乏味的过程,包括支付注释费用并确保避免任何侵犯版权的行为。此外,真实数据只能用于在特定领域具有足够历史数据的特定场景。与真实数据不同,合成数据可以立即呈现对象、场景、事件和人员的任意组合。合成数据可以生成能够发现利基应用的通用数据集。因此,研究人员可以利用合成数据探索无限的可能性。几家初创公司 通过开发满足客户要求的训练数据集, 创造了开放的数据经济。

5. 探索合成数据的局限性

尽管合成数据可以帮助 AI 到达未被发现的领域,但其局限性可能成为其主流部署的主要障碍。对于初学者来说,合成数据模拟了真实世界数据的多个属性,但它不会完全复制原始数据。 在对此类合成数据进行建模时,人工智能系统只会在真实数据中寻找共同的趋势和情况。因此,现实世界数据中极端案例中包含的罕见场景可能永远不会包含在合成数据中。 

此外,研究人员尚未开发出一种机制来检查数据是否准确。发现真实数据中的缺陷并减少它们比使用合成数据更简单。人工智能驱动的系统已经有 阴暗面 这会助长无意的偏见。使用合成数据,预测这种偏见的范围和影响可能还为时过早。

6. 克服挑战

企业组织需要了解合成数据是一个相当新的发现。此类数据的效率和准确性尚未根据当前的行业标准进行评估。因此,合成数据不应被视为独立的数据源。尤其是在面临安全问题的应用中,例如医疗保健应用和自动驾驶汽车,合成数据必须与现实世界数据相结合,以开发 AI 系统。但零售业的应用具有较低的风险因素,很容易依赖合成数据。

出于测试目的,合成数据是一种可行且成本低廉的解决方案。但是,出于其他目的,在采用合成数据作为独立解决方案之前,需要彻底研究和分析人工智能系统的结果。随着进一步的研究,合成数据对于多种操作可能会变得更加可靠。

以上是合成数据能让人工智能变得更好吗?的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

字节跳动剪映推出 SVIP 超级会员:连续包年 499 元,提供多种 AI 功能 字节跳动剪映推出 SVIP 超级会员:连续包年 499 元,提供多种 AI 功能 Jun 28, 2024 am 03:51 AM

本站6月27日消息,剪映是由字节跳动旗下脸萌科技开发的一款视频剪辑软件,依托于抖音平台且基本面向该平台用户制作短视频内容,并兼容iOS、安卓、Windows、MacOS等操作系统。剪映官方宣布会员体系升级,推出全新SVIP,包含多种AI黑科技,例如智能翻译、智能划重点、智能包装、数字人合成等。价格方面,剪映SVIP月费79元,年费599元(本站注:折合每月49.9元),连续包月则为59元每月,连续包年为499元每年(折合每月41.6元)。此外,剪映官方还表示,为提升用户体验,向已订阅了原版VIP

使用Rag和Sem-Rag提供上下文增强AI编码助手 使用Rag和Sem-Rag提供上下文增强AI编码助手 Jun 10, 2024 am 11:08 AM

通过将检索增强生成和语义记忆纳入AI编码助手,提升开发人员的生产力、效率和准确性。译自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG,作者JanakiramMSV。虽然基本AI编程助手自然有帮助,但由于依赖对软件语言和编写软件最常见模式的总体理解,因此常常无法提供最相关和正确的代码建议。这些编码助手生成的代码适合解决他们负责解决的问题,但通常不符合各个团队的编码标准、惯例和风格。这通常会导致需要修改或完善其建议,以便将代码接受到应

七个很酷的GenAI & LLM技术性面试问题 七个很酷的GenAI & LLM技术性面试问题 Jun 07, 2024 am 10:06 AM

想了解更多AIGC的内容,请访问:51CTOAI.x社区https://www.51cto.com/aigc/译者|晶颜审校|重楼不同于互联网上随处可见的传统问题库,这些问题需要跳出常规思维。大语言模型(LLM)在数据科学、生成式人工智能(GenAI)和人工智能领域越来越重要。这些复杂的算法提升了人类的技能,并在诸多行业中推动了效率和创新性的提升,成为企业保持竞争力的关键。LLM的应用范围非常广泛,它可以用于自然语言处理、文本生成、语音识别和推荐系统等领域。通过学习大量的数据,LLM能够生成文本

微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉 微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉 Jun 11, 2024 pm 03:57 PM

大型语言模型(LLM)是在巨大的文本数据库上训练的,在那里它们获得了大量的实际知识。这些知识嵌入到它们的参数中,然后可以在需要时使用。这些模型的知识在训练结束时被“具体化”。在预训练结束时,模型实际上停止学习。对模型进行对齐或进行指令调优,让模型学习如何充分利用这些知识,以及如何更自然地响应用户的问题。但是有时模型知识是不够的,尽管模型可以通过RAG访问外部内容,但通过微调使用模型适应新的领域被认为是有益的。这种微调是使用人工标注者或其他llm创建的输入进行的,模型会遇到额外的实际知识并将其整合

你所不知道的机器学习五大学派 你所不知道的机器学习五大学派 Jun 05, 2024 pm 08:51 PM

机器学习是人工智能的重要分支,它赋予计算机从数据中学习的能力,并能够在无需明确编程的情况下改进自身能力。机器学习在各个领域都有着广泛的应用,从图像识别和自然语言处理到推荐系统和欺诈检测,它正在改变我们的生活方式。机器学习领域存在着多种不同的方法和理论,其中最具影响力的五种方法被称为“机器学习五大派”。这五大派分别为符号派、联结派、进化派、贝叶斯派和类推学派。1.符号学派符号学(Symbolism),又称为符号主义,强调利用符号进行逻辑推理和表达知识。该学派认为学习是一种逆向演绎的过程,通过已有的

为大模型提供全新科学复杂问答基准与测评体系,UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架 为大模型提供全新科学复杂问答基准与测评体系,UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架 Jul 25, 2024 am 06:42 AM

编辑|ScienceAI问答(QA)数据集在推动自然语言处理(NLP)研究发挥着至关重要的作用。高质量QA数据集不仅可以用于微调模型,也可以有效评估大语言模型(LLM)的能力,尤其是针对科学知识的理解和推理能力。尽管当前已有许多科学QA数据集,涵盖了医学、化学、生物等领域,但这些数据集仍存在一些不足。其一,数据形式较为单一,大多数为多项选择题(multiple-choicequestions),它们易于进行评估,但限制了模型的答案选择范围,无法充分测试模型的科学问题解答能力。相比之下,开放式问答

AI初创集体跳槽OpenAI,Ilya出走后安全团队重整旗鼓! AI初创集体跳槽OpenAI,Ilya出走后安全团队重整旗鼓! Jun 08, 2024 pm 01:00 PM

上周,在内部的离职潮和外部的口诛笔伐之下,OpenAI可谓是内忧外患:-侵权寡姐引发全球热议-员工签署「霸王条款」被接连曝出-网友细数奥特曼「七宗罪」辟谣:根据Vox获取的泄露信息和文件,OpenAI的高级领导层,包括Altman在内,非常了解这些股权回收条款,并且签署了它们。除此之外,还有一个严峻而紧迫的问题摆在OpenAI面前——AI安全。最近,五名与安全相关的员工离职,其中包括两名最著名的员工,“超级对齐”团队的解散让OpenAI的安全问题再次被置于聚光灯下。《财富》杂志报道称,OpenA

SK 海力士 8 月 6 日将展示 AI 相关新品:12 层 HBM3E、321-high NAND 等 SK 海力士 8 月 6 日将展示 AI 相关新品:12 层 HBM3E、321-high NAND 等 Aug 01, 2024 pm 09:40 PM

本站8月1日消息,SK海力士今天(8月1日)发布博文,宣布将出席8月6日至8日,在美国加利福尼亚州圣克拉拉举行的全球半导体存储器峰会FMS2024,展示诸多新一代产品。未来存储器和存储峰会(FutureMemoryandStorage)简介前身是主要面向NAND供应商的闪存峰会(FlashMemorySummit),在人工智能技术日益受到关注的背景下,今年重新命名为未来存储器和存储峰会(FutureMemoryandStorage),以邀请DRAM和存储供应商等更多参与者。新产品SK海力士去年在

See all articles