数据库迎来AI快车道，阿里云发布全新开源技术PilotScope

来源 | 新言科技

文 | 贾宁宇

12月20日，数据库国际顶会VLDB2024公布新一批论文，阿里云新技术PilotScope成功入围，该平台技术可实现AI算法在数据库的“一键部署”，极大降低数据库中AI算法的应用门槛，为数据库智能化开辟了全新道路。 On December 20th, the international top conference for databases VLDB2024 announced a new batch of papers, and Alibaba Cloud's new technology PilotScope successfully made it to the list. The platform's technology can achieve "one-click deployment" of AI algorithms in databases, greatly reducing the application threshold of AI algorithms in databases and opening up a brand new path for database intelligence.

阿里云宣布同一天将PilotScope的所有技术免费开源

数据库智能化为何难？

数据库是对国家经济和人民生活至关重要的基础软件技术。数据库技术的不断更新对数字时代的各行各业产生着重要影响，其中一个前沿领域就是数据库智能化（AI4DB，即数据库智能化）

目前的数据库系统非常复杂，对稳定性要求非常高。即使只是将一个AI算法与一个数据库进行匹配调试，也需要两方工程师密切合作数周甚至数月，效率低下，效果不佳

更常见的情况是，AI工程师不懂数据库细节，数据库开发者用不明白AI，两个领域连编程语言都不通（AI开发多用Python，数据库多是C/Java），很容易造成割裂。

一般来说，工业界的公司通常会选择将一些AI算法直接嵌入数据库中，以替换数据库的某些功能模块，例如智能查询优化模块。然而，这种定制化的方法会导致开发、维护和升级的成本非常高。每次升级和更换AI算法时，都需要重新进行开发流程。同时，改动数据库的代码库也会带来额外的风险

正因为如此，尽管人工智能的发展日新月异，但在数据库领域，相关成果的实际应用仍然尚未普及

是否存在一种通用的平台技术，可以更有效地将人工智能算法应用于数据库中？

这成为阿里巴巴PilotScope项目团队思考的起点

PilotScope项目负责人朱鎔介绍说：“AI4DB，AI和DB两端都有人做，但是这个连接处的桥，却一直没做好。我们想要为AI算法和数据库之间搭一座公共的桥，使得双方的沟通更加顺畅。”

从0到1的交叉技术创新

朱鎔将PilotScope描述为数据库AI的“超级管理员”，通过PilotScope平台，AI工程师只需专注于设计通用的AI算法，就能够实现对不同数据库的部署和应用；而数据库使用者可以像调用API一样，方便又高效地使用AI

这个想法从构思到实施，花费了大约2年的时间。朱鎔表示：“涉及到算法和系统的交叉、AI和数据库的交叉、研究和开发的交叉、学界和业界的交叉，是真正的交叉技术。”

根据他的介绍，项目团队经过多次打磨，最终开发出一个全新的中间件系统平台，通过在数据库和AI系统级别进行抽象和通用化模块及接口定义，实现了AI算法在数小时乃至数分钟内在数据库内实现“一键部署”，这就是现在的PilotScope

重新编写内容如下：阿里云PilotScope架构图的图注

PilotScope对于参数调优、索引推荐、基数估计、查询优化等数据库主流任务，提供了10多种AI算法，并成功适配了PostgreSQL和Spark等两个主流开源数据库

根据实验数据显示，使用PilotScope将AI算法嵌入数据库相较于传统的“硬植入”方法，在查询优化等任务上可以提速1到2倍不等。此外，PilotScope本身对部署产生的额外代价基本可忽略，表现出色

图片说明：PilotScope效果图

PilotScope对数据库进行了“微侵入”，并引入了智能检测、回退、隔离等机制，以降低AI幻觉风险，并在确保数据库稳定性的前提下实现智能化提升

朱镕介绍说，以前，人工智能工程师和数据库开发者需要不断协作和精磨，可能需要数周甚至数个月才能确保稳定性。 "借助我们的PilotScope，只需几小时甚至几十分钟，就能直接上线测试。这项从零到一的技术创新，大大提高了开发效率。"

开源撬动AI4DB产业化进程

PilotScope论文成果已被VLDB收录。 VLDB评议认为，PilotScope基于应用场景开创性的系统设计，将开启数据库智能化的全新方向

根据了解，VLDB是数据库三大国际顶级会议之一，每年只收录对学术界和产业实践有重要影响的新成果。它是数据库技术的权威指标，第50届VLDB大会计划于2024年8月在中国广州举办

图注：数据库顶会VLDB2024

朱镕介绍说，PilotScope相关技术已经在GitHub和Modelscope魔搭社区上免费开源。团队希望通过开源社区的力量，将更多的AI算法和更广泛的数据库纳入到PilotScope中，与开发者一同探索更多的AI4DB创新

在此同时，PilotScope已经开始在阿里云内部进行试点应用，以便对产业化部署进行相应的测试

朱镕表示，AI4DB只有在真实的生产环境中才能产生价值，我们希望PilotScope能够真正实现这一点，帮助各行各业的数据库实现智能化的效率和效果提升

请附上开源地址：

https://github.com/alibaba/pilotscope

以上是数据库迎来AI快车道，阿里云发布全新开源技术PilotScope的详细内容。更多信息请关注PHP中文网其他相关文章！