目录
一切都与数据有关
以下是应该关注的三个方面:
现在要考虑的数据管理策略
企业中人工智能的实用方法
首页 科技周边 人工智能 数据管理对生成式人工智能的影响

数据管理对生成式人工智能的影响

Jun 07, 2023 am 11:15 AM
人工智能 技术 数据治理

       2023年将是我们记住的人工智能时代的主流开端,由每个人都在谈论的技术:ChatGPT推动。

像ChatGPT这样的生成式人工智能语言模型已经抓住了我们的想象力,因为我们第一次能够看到人工智能像真人一样与我们对话,并生成散文、诗歌和其他我们认为有创意的新内容。通过生成式人工智能解决方案,可能有突破性的潜力,可以提高创新速度、生产力和实现价值的效率。尽管有限制,但人们对它们的数据隐私和管理最佳实践的认识还有很大提高空间。

最近,很多技术和安全领域的人士因缺乏对人工智能技术使用的理解和足够的监管护栏而发出警告。人们已经表达出对人工智能工具输出可靠性、知识产权、敏感数据泄露以及侵犯隐私和安全问题的担忧。

三星公司与ChatGPT的事件成为了头条新闻,因为这家科技巨头无意中向ChatGPT泄露了自己的秘密。三星并不是唯一这样做的公司:Cyberhaven的一项研究发现,4%的员工曾将敏感的公司数据输入大型语言模型。很多人不清楚,当他们使用企业数据来训练模型时,人工智能公司可能会在其他场合再次利用这些数据。

似乎我们不需要更多的网络犯罪素材,网络安全情报公司RecordedFuture透露:“在ChatGPT发布的几天内,我们在暗网和特殊访问论坛上发现了许多威胁行为者,他们分享有缺陷但功能齐全的恶意软件、社会工程教程、赚钱计划等等——所有这些都是通过使用ChatGPT实现的。”

私人互联网接入工程总监JoseBlaya说,在隐私方面,当一个人使用ChatGPT这样的工具注册时,它可以访问IP地址、浏览器设置和浏览活动——就像今天的搜索引擎一样。但风险更高,因为未经个人同意,它可能会泄露政治信仰或性取向,并可能意味着尴尬甚至毁掉职业生涯的信息被发布。

显然,我们需要更好的法规和标准来实施这些新的人工智能技术。但是对于数据治理和数据管理的重要作用却缺少讨论,因为这在企业采用和安全使用人工智能方面可以发挥关键作用。

一切都与数据有关

以下是应该关注的三个方面:

关于专有预训练AI模型或大型语言模型(LLM), 数据治理和透明度的核心问题在于训练数据。使用llm的机器学习程序包含来自许多来源的大量数据集。问题是,LLM是一个黑盒子,几乎不提供源数据的透明度。我们不确定信息来源的可信性,且不带任何偏见,但要避免包含非法的个人身份信息或欺诈性数据。例如,开放人工智能就不会共享其源数据。《华盛顿邮报》分析了谷歌的C4数据集,涵盖了1500万个网站,发现了数十个令人讨厌的网站,其中包括煽动性和个人身份信息数据以及其他可疑内容。数据治理要求透明的数据源,并确保从这些数据源获取的知识的有效性和可信度。例如,你的人工智能机器人可能会根据未经证实的来源或虚假新闻网站的数据进行训练,从而使其知识产生偏差,而这些知识现在是你公司新政策或研发计划的一部分。

目前,不同的人工智能供应商针对处理用户数据隐私的策略存在差异,其中包括数据隔离和数据域等方面。您的员工可能会不自觉地向LLM提供数据,然而他们可能不清楚这些数据会被合并到模型的知识库中。有可能,公司会无意将商业机密、软件代码以及个人数据泄露给公众。一些人工智能解决方案提供了变通方法,例如通过将数据排除在预训练模型之外来保护数据隐私的api,但这限制了它们的价值,因为理想的用例是用特定情况的数据增强预训练模型,同时保持数据的私密性。让预先训练的人工智能工具理解数据“领域”的概念是解决问题的一种方案。训练数据的“通用”领域用于预训练,并在实体之间共享,而基于“专有数据”的训练模型扩展则安全地限制在组织的边界内。数据管理可以确保创建和保留这些边界。

人工智能引发的衍生作品涵盖了数据管理的第三个领域,与人工智能过程以及最终数据所有者有关。假设我使用AI机器人来解决编码问题。通常情况下,我会知道是谁负责进行调查和修复工作,因为如果某些事情没有得到正确的处理,就会出现bug或错误。但有了人工智能,我的组织要为我要求人工智能执行的任务所导致的任何错误或不良后果负责——即使我们对流程或源数据不透明。你不能责怪机器:在某个地方,是人类造成了错误或糟糕的结果。那么IP呢?你是否拥有使用生成式AI工具创作的作品的IP?你在法庭上怎么辩护?据《哈佛商业评论》报道,艺术界已经开始提起诉讼。

现在要考虑的数据管理策略

在这些早期阶段,我们不知道我们对人工智能的不了解,包括坏数据、隐私和安全、知识产权和其他敏感数据集的风险。人工智能也是一个广泛的领域,有多种方法,如法学硕士,基于逻辑的自动化,这些只是通过结合数据治理政策和数据管理实践来探索的一些主题:

  • 暂停对生成式人工智能的实验,直到你有一个监督战略、政策、

以及降低风险和验证结果的程序。

  • 合并数据管理指南:首先要对自己的数据有一个坚实的理解,无论它位于哪里。你的敏感个人信息和客户数据在哪里?你有多少IP数据,这些文件在哪里?你能否监控使用情况,以确保这些数据类型不会被无意中输入人工智能工具,并防止安全或隐私泄露?

避免向人工智能应用程序提供不必要的数据,也不要分享任何敏感的专有数据。锁定/加密IP和客户数据,防止其被共享。

  • 了解人工智能工具如何以及是否可以与数据源透明。

供应商能保护你的数据吗?谷歌在其博客中分享了这一声明,但“如何”并不清楚:“无论一家公司是在VertexAI中训练模型,还是在GenerativeAIAppBuilder上构建客户服务体验,私人数据都是保密的,不会用于更广泛的基础模型训练语料库。请仔细审阅每个人工智能工具的合约条款,了解您所提供的任何数据是否会受到保密

标记业主或委托项目的个人或部门的衍生作品的数据。这很有帮助,因为你可能最终要对公司产生的任何工作负责,你想知道人工智能是如何被纳入过程的,以及由谁加入的。

  • 确保域间数据的可移植性。例如,团队可能想要剥离其IP和识别特征的数据,并将其提供给通用训练数据集以供将来使用。这个过程的自动化和跟踪是至关重要的。

  • 随时了解正在制定的任何行业法规和指导方针,并与其他组织的同行交流,了解他们是如何实现风险缓解和数据管理的。

  • 在开始任何生成式人工智能项目之前,请咨询法律专家,了解发生数据泄露、隐私和知识产权侵犯、恶意行为者或虚假/错误结果时应遵循的风险和流程。

企业中人工智能的实用方法

人工智能正以前所未有的速度快速发展,不断创新、降低成本并改善用户体验,具备巨大的潜力。正如大多数强大的工具一样,人工智能需要在适当的环境下谨慎应用,并配备适当的数据治理和数据管理措施以确保安全。在人工智能数据管理领域,还没有明确的标准,需要继续研究。在使用人工智能应用之前,企业应该谨慎行事,确保充分了解数据暴露、数据泄露和可能存在的数据安全风险。

以上是数据管理对生成式人工智能的影响的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
1 个月前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
1 个月前 By 尊渡假赌尊渡假赌尊渡假赌
威尔R.E.P.O.有交叉游戏吗?
1 个月前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

字节跳动剪映推出 SVIP 超级会员:连续包年 499 元,提供多种 AI 功能 字节跳动剪映推出 SVIP 超级会员:连续包年 499 元,提供多种 AI 功能 Jun 28, 2024 am 03:51 AM

本站6月27日消息,剪映是由字节跳动旗下脸萌科技开发的一款视频剪辑软件,依托于抖音平台且基本面向该平台用户制作短视频内容,并兼容iOS、安卓、Windows、MacOS等操作系统。剪映官方宣布会员体系升级,推出全新SVIP,包含多种AI黑科技,例如智能翻译、智能划重点、智能包装、数字人合成等。价格方面,剪映SVIP月费79元,年费599元(本站注:折合每月49.9元),连续包月则为59元每月,连续包年为499元每年(折合每月41.6元)。此外,剪映官方还表示,为提升用户体验,向已订阅了原版VIP

使用Rag和Sem-Rag提供上下文增强AI编码助手 使用Rag和Sem-Rag提供上下文增强AI编码助手 Jun 10, 2024 am 11:08 AM

通过将检索增强生成和语义记忆纳入AI编码助手,提升开发人员的生产力、效率和准确性。译自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG,作者JanakiramMSV。虽然基本AI编程助手自然有帮助,但由于依赖对软件语言和编写软件最常见模式的总体理解,因此常常无法提供最相关和正确的代码建议。这些编码助手生成的代码适合解决他们负责解决的问题,但通常不符合各个团队的编码标准、惯例和风格。这通常会导致需要修改或完善其建议,以便将代码接受到应

微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉 微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉 Jun 11, 2024 pm 03:57 PM

大型语言模型(LLM)是在巨大的文本数据库上训练的,在那里它们获得了大量的实际知识。这些知识嵌入到它们的参数中,然后可以在需要时使用。这些模型的知识在训练结束时被“具体化”。在预训练结束时,模型实际上停止学习。对模型进行对齐或进行指令调优,让模型学习如何充分利用这些知识,以及如何更自然地响应用户的问题。但是有时模型知识是不够的,尽管模型可以通过RAG访问外部内容,但通过微调使用模型适应新的领域被认为是有益的。这种微调是使用人工标注者或其他llm创建的输入进行的,模型会遇到额外的实际知识并将其整合

七个很酷的GenAI & LLM技术性面试问题 七个很酷的GenAI & LLM技术性面试问题 Jun 07, 2024 am 10:06 AM

想了解更多AIGC的内容,请访问:51CTOAI.x社区https://www.51cto.com/aigc/译者|晶颜审校|重楼不同于互联网上随处可见的传统问题库,这些问题需要跳出常规思维。大语言模型(LLM)在数据科学、生成式人工智能(GenAI)和人工智能领域越来越重要。这些复杂的算法提升了人类的技能,并在诸多行业中推动了效率和创新性的提升,成为企业保持竞争力的关键。LLM的应用范围非常广泛,它可以用于自然语言处理、文本生成、语音识别和推荐系统等领域。通过学习大量的数据,LLM能够生成文本

你所不知道的机器学习五大学派 你所不知道的机器学习五大学派 Jun 05, 2024 pm 08:51 PM

机器学习是人工智能的重要分支,它赋予计算机从数据中学习的能力,并能够在无需明确编程的情况下改进自身能力。机器学习在各个领域都有着广泛的应用,从图像识别和自然语言处理到推荐系统和欺诈检测,它正在改变我们的生活方式。机器学习领域存在着多种不同的方法和理论,其中最具影响力的五种方法被称为“机器学习五大派”。这五大派分别为符号派、联结派、进化派、贝叶斯派和类推学派。1.符号学派符号学(Symbolism),又称为符号主义,强调利用符号进行逻辑推理和表达知识。该学派认为学习是一种逆向演绎的过程,通过已有的

为大模型提供全新科学复杂问答基准与测评体系,UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架 为大模型提供全新科学复杂问答基准与测评体系,UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架 Jul 25, 2024 am 06:42 AM

编辑|ScienceAI问答(QA)数据集在推动自然语言处理(NLP)研究发挥着至关重要的作用。高质量QA数据集不仅可以用于微调模型,也可以有效评估大语言模型(LLM)的能力,尤其是针对科学知识的理解和推理能力。尽管当前已有许多科学QA数据集,涵盖了医学、化学、生物等领域,但这些数据集仍存在一些不足。其一,数据形式较为单一,大多数为多项选择题(multiple-choicequestions),它们易于进行评估,但限制了模型的答案选择范围,无法充分测试模型的科学问题解答能力。相比之下,开放式问答

SOTA性能,厦大多模态蛋白质-配体亲和力预测AI方法,首次结合分子表面信息 SOTA性能,厦大多模态蛋白质-配体亲和力预测AI方法,首次结合分子表面信息 Jul 17, 2024 pm 06:37 PM

编辑|KX在药物研发领域,准确有效地预测蛋白质与配体的结合亲和力对于药物筛选和优化至关重要。然而,目前的研究没有考虑到分子表面信息在蛋白质-配体相互作用中的重要作用。基于此,来自厦门大学的研究人员提出了一种新颖的多模态特征提取(MFE)框架,该框架首次结合了蛋白质表面、3D结构和序列的信息,并使用交叉注意机制进行不同模态之间的特征对齐。实验结果表明,该方法在预测蛋白质-配体结合亲和力方面取得了最先进的性能。此外,消融研究证明了该框架内蛋白质表面信息和多模态特征对齐的有效性和必要性。相关研究以「S

SK 海力士 8 月 6 日将展示 AI 相关新品:12 层 HBM3E、321-high NAND 等 SK 海力士 8 月 6 日将展示 AI 相关新品:12 层 HBM3E、321-high NAND 等 Aug 01, 2024 pm 09:40 PM

本站8月1日消息,SK海力士今天(8月1日)发布博文,宣布将出席8月6日至8日,在美国加利福尼亚州圣克拉拉举行的全球半导体存储器峰会FMS2024,展示诸多新一代产品。未来存储器和存储峰会(FutureMemoryandStorage)简介前身是主要面向NAND供应商的闪存峰会(FlashMemorySummit),在人工智能技术日益受到关注的背景下,今年重新命名为未来存储器和存储峰会(FutureMemoryandStorage),以邀请DRAM和存储供应商等更多参与者。新产品SK海力士去年在

See all articles