目录
一切都与数据有关" >一切都与数据有关
现在要考虑数据管理策略" >现在要考虑数据管理策略
企业中人工智能的实用方法" >企业中人工智能的实用方法
首页 科技周边 人工智能 数据管理是生成式人工智能健康发展的关键

数据管理是生成式人工智能健康发展的关键

Jun 03, 2023 pm 11:00 PM
人工智能

2023年成为人工智能时代的正式开端,几乎每个人都在谈论ChatGPT。

数据管理是生成式人工智能健康发展的关键

像ChatGPT这样的生成式人工智能语言模型吸引了我们的目光和兴趣,因为我们第一次能够看到人工智能像真人一样与我们进行对话,并生成我们认为有创意的文章、诗歌和其他新内容。生成型人工智能解决方案似乎充满了更快、更好的创新、生产力和价值实现的突破性潜力。然而,它们的局限性尚未得到广泛关注,它们的数据隐私和数据管理最佳实践也未得到广泛理解。

最近,由于对人工智能技术的使用缺乏了解和足够的监管,科技和安全界的许多人发出了警告。我们已经看到了对人工智能工具输出的可靠性、IP(知识产权)和敏感数据泄露以及侵犯隐私和安全的担忧。

三星与ChatGPT的事件成为头条新闻,此前这家科技巨头无意中将自己的秘密泄露给了人工智能。并非只有三星:Cyberhaven的一项研究发现,4%的员工将敏感的企业数据放入了大型语言模型中。许多人不知道,当他们用公司数据训练模型时,人工智能公司可能能够在其他地方重用这些数据。

网络安全情报公司Recorded Future透露:“在ChatGPT发布的几天内,我们在暗网和特殊访问论坛上发现了许多威胁参与者,他们共享有缺陷但功能强大的恶意软件、社会工程教程、赚钱计划等,所有这些都是通过使用ChatGPT实现的。”

在隐私方面,当个人注册像ChatGPT这样的工具时,它可以像今天的搜索引擎一样访问IP地址、浏览器设置和浏览行为。但风险更高,因为“未经个人同意,它可能会披露政治信仰或性取向,并可能意味着尴尬甚至毁掉职业生涯的信息被发布。”私人互联网接入公司的工程总监Jose Blaya说。

显然,我们需要更好的法规和标准来实施这些新的人工智能技术。但是,关于数据治理和数据管理的重要作用,却缺乏讨论——但这在企业采用和安全使用人工智能方面发挥着关键作用。

一切都与数据有关

以下是我们应该关注的三个领域:

数据治理和训练数据的透明度:一个核心问题围绕着专有的预训练人工智能模型或大型语言模型(LLM)。使用LLM的机器学习程序包含了来自许多不同来源的大量数据集。问题是,LLM是一个黑匣子,它对源数据几乎没有透明度。我们不知道这些来源包含欺诈数据,是否包含PII(个人身份信息),是否可信、无偏见、准确或合法。LLM研发公司并不共享其源数据。

《华盛顿邮报》分析了谷歌横跨1500万个网站的C4数据集,发现了数十个令人不快的网站,其中包含煽动性和PII数据以及其他可疑内容。我们需要数据治理,这需要所使用的数据源的透明度以及这些来源所含知识的有效性/可信度。例如,你的人工智能机器人可能正在对未经核实的来源或假新闻网站的数据进行培训,从而对其知识产生偏见,而这些知识现在已成为你公司新政策或研发计划的一部分。

数据隔离和数据域:目前,不同的人工智能供应商在如何处理你提供的数据有不同的隐私政策。无意中,员工可能会在他们的提示中向LLM提供数据,而不知道该模型可能会将数据纳入其知识库。公司可能会在不知情的情况下将商业秘密、软件代码和个人数据暴露给世界。

一些人工智能解决方案提供了变通方法,如采用API,通过将您的数据排除在预先训练的模型之外来保护数据隐私,但这同时限制了人工智能的功能价值。因为理想的用例是在保持数据隐私的同时,用你特定情况数据增强预先训练的模型。

一个解决方案是让经过预训练的人工智能工具理解数据“域”的概念。培训数据的“通用”域用于预培训,并在通用应用之间共享,而基于“专有数据”的培训模型则安全地限制在组织的边界内。数据管理可以确保创建和保留这些边界。

人工智能的衍生作品:数据管理的第三个领域涉及人工智能过程及其最终所有者产生的数据。比方说,使用人工智能机器人来解决编码问题。如果某件事做得不正确,导致出现错误或错误,通常我们会知道谁做了什么来调查和修复。但有了人工智能,组织很难界定人工智能执行的任务所产生的任何错误或不良结果由谁负责——你不能责怪机器:在某种程度上,是人为造成了错误或糟糕的结果。

更复杂的问题是IP,你拥有用生成人工智能工具创作的作品的IP吗?你会在法庭上如何辩护?据《哈佛商业评论》报道,艺术界已经开始对某些人工智能应用提起索赔诉讼。

现在要考虑数据管理策略

在早期,我们不知道人工智能在坏数据、隐私和安全、知识产权和其他敏感数据集的风险方面有什么不知道的。人工智能也是一个广泛的领域,有多种方法,如LLM、基于业务流程逻辑的自动化,这些只是通过数据治理政策和数据管理实践的结合来探索的一些主题:

暂停对生成人工智能的实验,直到你有了一个监督战略、政策、以及降低风险和验证结果的程序。

纳入数据管理指导原则,首先要对自己的数据有一个坚实的了解,无论数据驻留在哪里。您的敏感PII和客户数据在哪里?你有多少IP数据,这些文件位于哪里?你能监控使用情况,以确保这些数据类型不会被无意中输入人工智能工具,并防止安全或隐私泄露吗?

不要向人工智能应用程序提供超出所需的数据,也不要共享任何敏感的专有数据。锁定/加密IP和客户数据以防止其被共享。

了解人工智能工具如何以及是否可以对数据源透明。

供应商能否保护您的数据?谷歌在其博客中分享了这一声明,但“如何”尚不清楚:“无论一家公司是在Vertex AI中培训模型,还是在Generative AI App Builder上建立客户服务体验,私人数据都是保密的,不会在更广泛的基础模型培训语料库中使用。”阅读每个人工智能工具的合同语言,了解你提供给它的任何数据是否可以保密。

标记业主、委托项目的个人或部门衍生作品的数据。这很有帮助,因为你可能最终要对你公司制作的任何作品负责,你想知道人工智能是如何融入这个过程的,是由谁参与的。

确保域之间数据的可移植性。例如,一个团队可能想要剥离其IP和识别特征的数据,并将其输入到通用训练数据集中以供将来使用。这一过程的自动化和跟踪至关重要。

随时了解正在制定的任何行业法规和指导方针,并与其他组织的同行交谈,了解他们如何应对风险缓解和数据管理。

在开始任何生成式人工智能项目之前,请咨询法律专家,以了解数据泄露、隐私和IP侵犯、恶意行为者或虚假/错误结果时的风险和流程。

企业中人工智能的实用方法

人工智能发展迅速,前景广阔,有可能以前所未有的速度加速创新、削减成本和改善用户体验。但与大多数强大的工具一样,人工智能需要在正确的背景下谨慎使用,并设置适当的数据治理和数据管理护栏。人工智能的数据管理尚未出现明确的标准,这是一个需要进一步探索的领域。同时,企业在使用人工智能应用程序之前,应谨慎行事,确保清楚了解数据暴露、数据泄露和潜在的数据安全风险。

以上是数据管理是生成式人工智能健康发展的关键的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

字节跳动剪映推出 SVIP 超级会员:连续包年 499 元,提供多种 AI 功能 字节跳动剪映推出 SVIP 超级会员:连续包年 499 元,提供多种 AI 功能 Jun 28, 2024 am 03:51 AM

本站6月27日消息,剪映是由字节跳动旗下脸萌科技开发的一款视频剪辑软件,依托于抖音平台且基本面向该平台用户制作短视频内容,并兼容iOS、安卓、Windows、MacOS等操作系统。剪映官方宣布会员体系升级,推出全新SVIP,包含多种AI黑科技,例如智能翻译、智能划重点、智能包装、数字人合成等。价格方面,剪映SVIP月费79元,年费599元(本站注:折合每月49.9元),连续包月则为59元每月,连续包年为499元每年(折合每月41.6元)。此外,剪映官方还表示,为提升用户体验,向已订阅了原版VIP

使用Rag和Sem-Rag提供上下文增强AI编码助手 使用Rag和Sem-Rag提供上下文增强AI编码助手 Jun 10, 2024 am 11:08 AM

通过将检索增强生成和语义记忆纳入AI编码助手,提升开发人员的生产力、效率和准确性。译自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG,作者JanakiramMSV。虽然基本AI编程助手自然有帮助,但由于依赖对软件语言和编写软件最常见模式的总体理解,因此常常无法提供最相关和正确的代码建议。这些编码助手生成的代码适合解决他们负责解决的问题,但通常不符合各个团队的编码标准、惯例和风格。这通常会导致需要修改或完善其建议,以便将代码接受到应

微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉 微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉 Jun 11, 2024 pm 03:57 PM

大型语言模型(LLM)是在巨大的文本数据库上训练的,在那里它们获得了大量的实际知识。这些知识嵌入到它们的参数中,然后可以在需要时使用。这些模型的知识在训练结束时被“具体化”。在预训练结束时,模型实际上停止学习。对模型进行对齐或进行指令调优,让模型学习如何充分利用这些知识,以及如何更自然地响应用户的问题。但是有时模型知识是不够的,尽管模型可以通过RAG访问外部内容,但通过微调使用模型适应新的领域被认为是有益的。这种微调是使用人工标注者或其他llm创建的输入进行的,模型会遇到额外的实际知识并将其整合

七个很酷的GenAI & LLM技术性面试问题 七个很酷的GenAI & LLM技术性面试问题 Jun 07, 2024 am 10:06 AM

想了解更多AIGC的内容,请访问:51CTOAI.x社区https://www.51cto.com/aigc/译者|晶颜审校|重楼不同于互联网上随处可见的传统问题库,这些问题需要跳出常规思维。大语言模型(LLM)在数据科学、生成式人工智能(GenAI)和人工智能领域越来越重要。这些复杂的算法提升了人类的技能,并在诸多行业中推动了效率和创新性的提升,成为企业保持竞争力的关键。LLM的应用范围非常广泛,它可以用于自然语言处理、文本生成、语音识别和推荐系统等领域。通过学习大量的数据,LLM能够生成文本

你所不知道的机器学习五大学派 你所不知道的机器学习五大学派 Jun 05, 2024 pm 08:51 PM

机器学习是人工智能的重要分支,它赋予计算机从数据中学习的能力,并能够在无需明确编程的情况下改进自身能力。机器学习在各个领域都有着广泛的应用,从图像识别和自然语言处理到推荐系统和欺诈检测,它正在改变我们的生活方式。机器学习领域存在着多种不同的方法和理论,其中最具影响力的五种方法被称为“机器学习五大派”。这五大派分别为符号派、联结派、进化派、贝叶斯派和类推学派。1.符号学派符号学(Symbolism),又称为符号主义,强调利用符号进行逻辑推理和表达知识。该学派认为学习是一种逆向演绎的过程,通过已有的

为大模型提供全新科学复杂问答基准与测评体系,UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架 为大模型提供全新科学复杂问答基准与测评体系,UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架 Jul 25, 2024 am 06:42 AM

编辑|ScienceAI问答(QA)数据集在推动自然语言处理(NLP)研究发挥着至关重要的作用。高质量QA数据集不仅可以用于微调模型,也可以有效评估大语言模型(LLM)的能力,尤其是针对科学知识的理解和推理能力。尽管当前已有许多科学QA数据集,涵盖了医学、化学、生物等领域,但这些数据集仍存在一些不足。其一,数据形式较为单一,大多数为多项选择题(multiple-choicequestions),它们易于进行评估,但限制了模型的答案选择范围,无法充分测试模型的科学问题解答能力。相比之下,开放式问答

SOTA性能,厦大多模态蛋白质-配体亲和力预测AI方法,首次结合分子表面信息 SOTA性能,厦大多模态蛋白质-配体亲和力预测AI方法,首次结合分子表面信息 Jul 17, 2024 pm 06:37 PM

编辑|KX在药物研发领域,准确有效地预测蛋白质与配体的结合亲和力对于药物筛选和优化至关重要。然而,目前的研究没有考虑到分子表面信息在蛋白质-配体相互作用中的重要作用。基于此,来自厦门大学的研究人员提出了一种新颖的多模态特征提取(MFE)框架,该框架首次结合了蛋白质表面、3D结构和序列的信息,并使用交叉注意机制进行不同模态之间的特征对齐。实验结果表明,该方法在预测蛋白质-配体结合亲和力方面取得了最先进的性能。此外,消融研究证明了该框架内蛋白质表面信息和多模态特征对齐的有效性和必要性。相关研究以「S

SK 海力士 8 月 6 日将展示 AI 相关新品:12 层 HBM3E、321-high NAND 等 SK 海力士 8 月 6 日将展示 AI 相关新品:12 层 HBM3E、321-high NAND 等 Aug 01, 2024 pm 09:40 PM

本站8月1日消息,SK海力士今天(8月1日)发布博文,宣布将出席8月6日至8日,在美国加利福尼亚州圣克拉拉举行的全球半导体存储器峰会FMS2024,展示诸多新一代产品。未来存储器和存储峰会(FutureMemoryandStorage)简介前身是主要面向NAND供应商的闪存峰会(FlashMemorySummit),在人工智能技术日益受到关注的背景下,今年重新命名为未来存储器和存储峰会(FutureMemoryandStorage),以邀请DRAM和存储供应商等更多参与者。新产品SK海力士去年在

See all articles