来源 | 新言科技
文 | 贾宁宇
12月20日,数据库国际顶会VLDB2024公布新一批论文,阿里云新技术PilotScope成功入围,该平台技术可实现AI算法在数据库的“一键部署”,极大降低数据库中AI算法的应用门槛,为数据库智能化开辟了全新道路。 On December 20th, the international top conference for databases VLDB2024 announced a new batch of papers, and Alibaba Cloud's new technology PilotScope successfully made it to the list. The platform's technology can achieve "one-click deployment" of AI algorithms in databases, greatly reducing the application threshold of AI algorithms in databases and opening up a brand new path for database intelligence.
阿里云宣布同一天将PilotScope的所有技术免费开源
数据库是对国家经济和人民生活至关重要的基础软件技术。数据库技术的不断更新对数字时代的各行各业产生着重要影响,其中一个前沿领域就是数据库智能化(AI4DB,即数据库智能化)
目前的数据库系统非常复杂,对稳定性要求非常高。即使只是将一个AI算法与一个数据库进行匹配调试,也需要两方工程师密切合作数周甚至数月,效率低下,效果不佳
更常见的情况是,AI工程师不懂数据库细节,数据库开发者用不明白AI,两个领域连编程语言都不通(AI开发多用Python,数据库多是C/Java),很容易造成割裂。
一般来说,工业界的公司通常会选择将一些AI算法直接嵌入数据库中,以替换数据库的某些功能模块,例如智能查询优化模块。然而,这种定制化的方法会导致开发、维护和升级的成本非常高。每次升级和更换AI算法时,都需要重新进行开发流程。同时,改动数据库的代码库也会带来额外的风险
正因为如此,尽管人工智能的发展日新月异,但在数据库领域,相关成果的实际应用仍然尚未普及
是否存在一种通用的平台技术,可以更有效地将人工智能算法应用于数据库中?
这成为阿里巴巴PilotScope项目团队思考的起点
PilotScope项目负责人朱鎔介绍说:“AI4DB,AI和DB两端都有人做,但是这个连接处的桥,却一直没做好。我们想要为AI算法和数据库之间搭一座公共的桥,使得双方的沟通更加顺畅。”
朱鎔将PilotScope描述为数据库AI的“超级管理员”,通过PilotScope平台,AI工程师只需专注于设计通用的AI算法,就能够实现对不同数据库的部署和应用;而数据库使用者可以像调用API一样,方便又高效地使用AI
这个想法从构思到实施,花费了大约2年的时间。朱鎔表示:“涉及到算法和系统的交叉、AI和数据库的交叉、研究和开发的交叉、学界和业界的交叉,是真正的交叉技术。”
根据他的介绍,项目团队经过多次打磨,最终开发出一个全新的中间件系统平台,通过在数据库和AI系统级别进行抽象和通用化模块及接口定义,实现了AI算法在数小时乃至数分钟内在数据库内实现“一键部署”,这就是现在的PilotScope
重新编写内容如下:阿里云PilotScope架构图的图注
PilotScope对于参数调优、索引推荐、基数估计、查询优化等数据库主流任务,提供了10多种AI算法,并成功适配了PostgreSQL和Spark等两个主流开源数据库
根据实验数据显示,使用PilotScope将AI算法嵌入数据库相较于传统的“硬植入”方法,在查询优化等任务上可以提速1到2倍不等。此外,PilotScope本身对部署产生的额外代价基本可忽略,表现出色
图片说明:PilotScope效果图
PilotScope对数据库进行了“微侵入”,并引入了智能检测、回退、隔离等机制,以降低AI幻觉风险,并在确保数据库稳定性的前提下实现智能化提升
朱镕介绍说,以前,人工智能工程师和数据库开发者需要不断协作和精磨,可能需要数周甚至数个月才能确保稳定性。 "借助我们的PilotScope,只需几小时甚至几十分钟,就能直接上线测试。这项从零到一的技术创新,大大提高了开发效率。"
PilotScope论文成果已被VLDB收录。 VLDB评议认为,PilotScope基于应用场景开创性的系统设计,将开启数据库智能化的全新方向
根据了解,VLDB是数据库三大国际顶级会议之一,每年只收录对学术界和产业实践有重要影响的新成果。它是数据库技术的权威指标,第50届VLDB大会计划于2024年8月在中国广州举办
图注:数据库顶会VLDB2024
朱镕介绍说,PilotScope相关技术已经在GitHub和Modelscope魔搭社区上免费开源。团队希望通过开源社区的力量,将更多的AI算法和更广泛的数据库纳入到PilotScope中,与开发者一同探索更多的AI4DB创新
在此同时,PilotScope已经开始在阿里云内部进行试点应用,以便对产业化部署进行相应的测试
朱镕表示,AI4DB只有在真实的生产环境中才能产生价值,我们希望PilotScope能够真正实现这一点,帮助各行各业的数据库实现智能化的效率和效果提升
请附上开源地址:
https://github.com/alibaba/pilotscope
以上是数据库迎来AI快车道,阿里云发布全新开源技术PilotScope的详细内容。更多信息请关注PHP中文网其他相关文章!