AI项目这些致命错误,你都犯过吗?

WBOY
发布: 2023-04-20 08:10:06
转载
821 人浏览过

​译者 | 布加迪

审校 | 孙淑娟

由于数据是人工智能(AI)的核心,因此AI和机器学习(ML)系统需要足够多的优质数据来学习也就不足为奇了。一般需要大量优质数据,对于监督学习方法尤为如此,才能正确训练AI或ML系统。具体需要多少数据,取决于所实施的AI的模式、所使用的算法以及内部数据与第三方数据等其他因素。比如说,神经网络需要大量数据来训练,而决策树或贝叶斯分类器不需要那么多数据就能获得高质量结果。

于是,你可能认为数据越多越好,对吧?请再想想。拥有大量数据(甚至EB级数据)的组织意识到,拥有更多数据并不代表如期望的那样可以解决问题。确实,数据越多,问题越多。拥有的数据越多,需要清理和准备的数据就越多,需要标记和管理的数据就越多,需要加强安全、做好保护、减少偏误及其他措施的数据就越多。当开始增加数据量时,小项目会迅速变成大项目。事实上,大量数据往往会扼杀项目。

很显然,识别业务问题与整理数据以解决该问题之间缺少的步骤是,确定需要哪些数据、实际需要其中的多少数据。需要足够多的数据,但切忌过多:不多不少刚刚好。遗憾的是,组织常常还没有了解数据,就贸然上手AI项目。组织要回答诸多问题,包括弄清楚数据在哪里、已经有多少数据、处于什么状态、数据的哪些特征最重要、内外数据的使用、数据访问难题、增强现有数据方面的要求,以及其他关键因素和问题。如果不回答这些问题,AI项目可能会失败,甚至淹没在数据汪洋中。

1.更好地了解数据

为了了解自己需要多少数据,先要了解数据在AI项目的结构中所处的位置。有一种直观的方式可帮助我们了解从数据中获得的不断增加的价值,那就是“DIKUW金字塔”(有时也叫“DIKW 金字塔”),它显示了数据基础如何通过信息、知识、理解和智慧,帮助获取更大的价值。

凭借坚实的数据基础,你可以在下一个信息层获得更深的洞察力,这可以帮助你回答有关该数据的基本问题。一旦在数据之间建立了基本的联系以获得信息洞察力,就可以在该信息中找到模式,了解各部分信息如何连接在一起,从而获得更深入的洞察力。组织可以在知识层的基础上,进一步了解这些模式为什么会出现,从而获得更多价值,帮助了解底层模式。最后,你可以在智慧层通过深入了解信息决策的因果关系,从信息中获得最大的价值。

最近的这股AI浪潮最关注的是知识层,因为机器学习在信息层之上提供了识别模式的洞察力。遗憾的是,机器学习在理解层遇到了瓶颈,因为找出模式不足以进行推理。我们有机器学习,却没有了解模式为什么会出现的机器推理。每当你与聊天机器人交互时,都能看到这一局限性。虽然基于机器学习的自然语言处理(NLP)非常擅长理解人的语音、推测意图,但它在试图理解和推理时遇到了限制。比如说,如果你问语音助手明天要不要穿雨衣,它不明白你在问天气。人类要向机器提供这种洞察力,因为语音助手不知道雨实际上是什么。

2.保持数据意识,以避免失败

大数据已教会我们如何处理大量数据。不仅仅涉及数据如何存储,还涉及如何处理、操作和分析所有这些数据。机器学习能够处理组织收集的种种不同类型的非结构化数据、半结构化数据或结构化数据,从而增添了更多的价值。的确,最近的这股AI浪潮实际上是大数据驱动的分析浪潮。

但正是由于这个原因,一些组织在AI方面遭遇重创。它们不是从以数据为中心的角度运行AI项目,而是专注于功能方面。为了驾驭AI项目并避免致命错误,组织不仅要更好地理解AI和机器学习,还要更好地理解大数据的几个“V”。这不仅关乎有多少数据,还关乎数据的性质。大数据的其中几个V包括:

  • 数量:拥有的大数据的绝对数量。
  • 速度:大数据变化的速度。成功运用AI意味着将AI运用于高速数据。
  • 多样性:数据可以有多种不同的格式,包括数据库等结构化数据、发票等半结构化数据以及电子邮件、图像和视频文件等非结构化数据。成功的AI系统可以处理这种多样性。
  • 真实性:这是指数据的质量和准确性以及你对该数据的信任程度。垃圾进垃圾出,在数据驱动的AI系统中尤为如此。因此,成功的AI系统需要能够处理变化很大的数据质量。

凭借数十年来管理大数据项目的经验,AI方面取得成功的组织主要在大数据方面取得了成功。那些目睹AI项目失败的组织常常以应用程序开发的思维来解决AI问题。

3.错误数据过多、正确数据不足在扼杀AI项目

虽然AI项目起步是正确的,但缺乏必要的数据以及缺乏了解、未解决实际问题在扼杀AI项目。组织在没有真正了解需要的数据和数据质量的情况下继续前进,这带来了真正的挑战。

组织犯这个数据错误的原因之一是,除了使用敏捷或应用程序开发方法外,它们在开展AI项目时没有任何真正的方法。然而成功的组织已意识到,使用以数据为中心的方法将数据理解作为项目方法的第一个阶段。CRISP-DM方法已存在了20多年,它将数据理解指定为确定业务需求后接下来要做的事情。基于CRISP-DM,并结合敏捷方法,AI认知项目管理(CPMAI)方法在第二个阶段需要数据理解。其他成功的方法同样需要在项目早期理解数据,因为AI项目毕竟是数据项目。如果在不了解数据的情况下开展项目,如何在数据基础上构建成功的项目?这肯定是你要避免的致命错误。

原文链接:https://www.forbes.com/sites/cognitiveworld/2022/08/20/are-you-making-these-deadly-mistakes-with-your-ai-projects/?sh=352955946b54

以上是AI项目这些致命错误,你都犯过吗?的详细内容。更多信息请关注PHP中文网其他相关文章!

相关标签:
来源:51cto.com
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板