数据库PolarDB开源之路该如何走?听听他们怎么说
阿里巴巴集团副总裁、阿里云数据库事业部负责人李飞飞出席了沙龙并致开场辞:PolarDB 是阿里云的明星产品,做出将PolarDB 开源的决策需要非常大的勇气。将最核心的数据库产品对外开源,且使用了最友好的协议,阿里云是全球头部云厂商的第一家。作为一家商业化公司,商业化一定是企业目标。但我们认为商业化应该是企业的副产品,核心依然应是创造价值。当我们为社会创造价值的时候,价值一定会在商业化上有所体现。
阿里巴巴集团副总裁、阿里云数据库事业部负责人李飞飞
生态的建设以及在多云大趋势下的开源对阿里云将会产生极大的帮助,对于巩固我们云数据库桥头堡的位置意义非凡。只要主版本不分裂,这条道路一定会成功。我们希望与业界同仁携手,将 PolarDB 开源社区做强做大,使PolarDB 不仅仅是阿里云的标杆,也成为全中国和全世界数据库的标杆。
阿里云数据库开源负责人 、阿里云数据库资深技术专家王远发表了就PolarDB开源现状和未来规划发表主旨演讲。王远指出,阿里云在做开源 PolarDB 时坚持的第一原则是兼容数据库的生态。PolarDB从开源的第一天起就以兼容生态为目标,兼容生态不仅包含语法和 SQL 上的兼容,更重要的是体验上的兼容。比如 PolarDB-X、PolarDB for PostgreSQL都为云原生分布式的数据库,但这绝不意味着其在体验上也会将分布式的复杂度透传给客户。我们希望云原生数据库像单机版的数据库一样简单易用、易于运维。
阿里云数据库开源负责人 、阿里云数据库资深技术专家 王远
开源PolarDB的第二个原则是坚持完全的开放。开源PolarDB 最有特色之处在于它真正将自己云上在运行的云产品 100% 开源给客户。阿里云的海量客户已经检验了PolarDB 产品的成熟度,因此我们开源出的 PolarDB 成熟可用的企业级产品,希望通过开源让更多用户、技术人员能够享受到这项技术红利并参与共建,推动云上 PolarDB 技术的发展。同时,我们也希望更多的用户和合作伙伴能够向我们提出更多需求,推进 PolarDB 不断向前演进。
唐成以《PolarDB在娃哈哈的使用》为题进行分享。他分享到,娃哈哈已经使用PostgreSQL多年,使用了大量逻辑复制,且备库仅提供一些业务的只读服务。同时,其重要业务的数据库运行在共享SAN存储上。因此,它存在主备库延迟较大、逻辑复制不稳定且延迟大的痛点。针对娃哈哈的特性以及痛点,我们选择使用PolarDB替换其原有架构。
乘数科技创始人、PG中国社区常委 唐成
使用PolarDB后,其架构为基于共享存储的一个主节点和一个只读节点,并配合PolarDB实现了CLup管理系统。数据库运行在SAN共享存储之上,使用CLup管理PolarDB。主节点出现问题后,数据库可快速切换至只读节点。后续,我们将会增加只读节点,便于快速扩容。PolarDB 的另一优势在于可以增加普通的备库,相当于数据可存储多份,保证了数据不丢。同时,将使用CLup对PolarDB进行定期备份。
韩毅以《基于开源PolarDB-X打造中正智能身份认证业务数据基座》为题进行分享。他分享到,中正智能是全球领先的生物识别和身份认证公司之一,专注图像处理和模式识别20年,目前,中正智能深耕于金融领域。随着业务数据量的增加,客户对业务可靠性的要求逐渐提升,对数据安全和存储要求也愈发严苛。此外,我们还面临着问题解决延迟以及国产改造的难题。我们对数据库的选型就提出了四个要求:高可用、易维护、低成本、持续性。而PolarDB在以上几个方面均具有显著优势。
中正智能科技有限公司平台软件部研发总监 韩毅
于是我们打造了基于开源PolarDB-X的多地分布式数据基座解决方案。我们通过杭州的小型数据中心和深圳数据中心实现了两地多活,底层则基于K8s容器打造。完成PolarDB改造后,我们的读写性能、存储性能以及响应延迟等均得到了明显提升。其中TPS性能提升55.8%,响应时间提升46.6%,业务可用性提升64.6%,使中正智能得到了客户的充分认可,也在商业领域站稳了脚步。PolarDB的开源为我们中小型企业的发展带来了巨大收益,堪称“国货之光”。我们期待有更多优秀的“国货”产品输出,为中小企业解困,在全世界支柱型中间件里占有一席之地。
主持人李若冰、韩毅、唐成、李飞飞、王敏坚、王远(从左至右)
接下来,阿里云开发者社区负责人李若冰作为活动的主持人,邀请了阿里云数据库事业部负责人李飞飞、王远,与乘数科技创始人、唐成、中正智能科技平台软件部研发总监韩毅、杭州朋越创始人王敏坚展开对话,讨论“云时代下的数据库开源”。
(以下为圆桌讨论实录整理)
主持人:做出开源PolarDB决策时,阿里云内部讨论和争议的焦点是什么?
李飞飞:阿里云是一家云厂商,并非第三方数据库厂商,且连续5年投入了巨额资金和大量人力开发PolarDB,开源的决定必然引发争议。因此,开源PolarDB的确需要承担巨大风险。
但我认为世界上所有的变化都是危机并存,四平八稳时确实没有风险,但也不会有机会。外部世界存在错综复杂的变化,我们需要回归初心,坚持价值创造。只要坚持价值创造,对社会有贡献,最终不论是组织或是个体都会得到相应的回报。
主持人:PolarDB开源已有一年多,满分10分,您为自己打几分?
王远:我想为开源的团队打 9 分,开源社区的运营、伙伴的支持、研发团队均表现出色,尤其是技术上的领先。为自己打7分,我对开源PolarDB抱有更大的期望,它应该有更广阔的空间。同时,我也希望研发团队、用户、开发者与合作伙伴能够一起推动 PolarDB 更进一步,做货真价实的国货之光。
主持人:从外部看,不管对这款产品、对开源社区还是对生态合作伙伴,您会打几分?
王敏坚: 8.5 分。我从2006年左右开始接触PostgreSQL开源数据库,也是国内最早一批布道者。当时很多人不懂何为开源,不明白开源是否等于免费,也不明白各种授权协议的细微差异,而这些知识的普及需要行业领袖或大厂展现出海纳百川的胸襟,拿出壮士断腕的气魄才能完成,远非小厂和个人能够实现。
有这份气魄和雄心,未来必定可以对接多云、多种芯片,覆盖IaaS层、DaaS层、PaaS层以及SaaS层,形成完整的生态和全栈的数据链路。但起步阶段需要有大厂作为领军企业,扛起大旗。因此我由衷地佩服阿里云开源PolarDB的勇气,而这份勇气正来自于它的底气和自信。
唐成:我为它打9分。开源是一个长跑项目,很多开源项目在开源几个月后随即式微,而PolarDB开源一年多以来,热度不减,也证明了它的成功。此前,国内的公司开源行为一直较少,多为个人开源。而这几年,国内的大企业承担起了责任,大力推广开源,引领思路的改变,也在努力践行开源。我相信国内的开源生态会越来越蓬勃。
韩毅:我为它打9.9分。作为使用者,我看到也体会到了PolarDB的产品力。PolarDB产品开源后,中小企业能够在短时间内使用它,这意味着它背后的运营团队和产品团队付出了巨大心血。
李飞飞:阿里云数据团队在PolarDB上有非常大的投入。而且PoalrDB是阿里云研发了5年的产品,进行开源的确是非常艰难的决策。但现在回过头看,这绝对是一个正确的决策。
开源的决策能够让更多伙伴与我们共建,打造全球最有活力的云原生数据库社区。这是一个全新的赛道,在云原生数据库领域、存储计算分离领域,阿里云处于最早开源的梯队。而且是基于现有的、成熟的开源生态,更具先发优势。
综上,我为PolarDB的开源打8分。我希望把今天作为新的起点,加大市场投入,给予合作伙伴更强的信心。同时,我们也郑重承诺,一定会持之以恒地在 PolarDB 的开源路上坚定地走下去。
主持人:阿里云商业化产品和开源产品之间,各自的优势是什么?
李飞飞:如今,客户与厂商之间的交互模式和商业模式有了本质的变化。商品不再只是商品,也成为了载体,成为一个可以交互的智能商店。PolarDB开源以后,它的周边生态会越来越丰富,再伴随着合作伙伴的发展,整个体系会真正变成亚马逊雨林一般庞大。这其中细水长流的发展和互相成就远比单纯的交易来得更有价值,也让我们对更丰富的云上商业形态有了期待。
近日,PolarDB上线了天翼云心选市场,我们期待在不久的将来,PolarDB真正成为天翼云的一方产品。与此同时,我们与移动云的合作也正在推进。而这类合作的促成正式得益于PolarDB的开源,PolarDB的开源为我们带来全新的商业模式。
主持人:敏坚总作为开源最早一批布道者,如何看待这样的商业模式?
王敏坚:我非常认可这样的商业模式。早年我曾参加过一些在线平台的运营,希望能够实现SaaS模式。但一直以来,国内极少有公司在SaaS模式上取得成功,其主要原因在于流量寡头的垄断。开源界也存在流量寡头效应,因此,品牌巨头早做开源对于企业本身的发展必然有巨大裨益,因其本身天然具备品牌实力和技术实力。从商业生态上来说,只要有足够多的用户,实现全新的商业模式只是时间问题。
电视机尚且可以从最初的黑白电视变为现在拥有订阅等交互功能的智能商店,富有魅力的云原生数据库更加毋庸置疑。它可以做运维的生态、监控的生态、复制的生态、迁移的生态、BI 报表生态等等,各种生态百花齐放、百家争鸣,只要有用户,丰富的生态必将水到渠成。
主持人:作为生态合作伙伴,商业模式的跑通对于您来说同等重要。唐总您怎么看待这种商业模式?
唐成:大量客户希望使用更轻量级、更灵活的方式,同时很多客户因为各种原因没有办法上公有云,因此,传统的商业模式已经不适用。国外将很多开源产品做成了生态,比如数据库插件生态,但该模式在国内尚且较为落后。
落后的原因除了技术方面的限制,也包括商业逻辑。传统的覆盖用户的方式需要投入大量推广成本,而开源也是吸引用户的另一渠道。开源后,随着社区影响力的扩大,将会吸引更多客户。有了客户之后,商业模式也将越来越丰富,比如订阅服务、远程服务,最终变为可持续发展的模式。
主持人:请问王总,PolarDB 开源从运营、市场、产品、服务、机制上还要需要再做哪些准备,才能更好地推进新的商业模式的展开?
王远:我认为开源和商业模式之间相辅相成,并不冲突,开源是现代的、走向市场的手段。当前,创业趋势非常明显,很多小公司需要基础设施和基础软件的支撑。
小公司做选型,第一步是快速获得信息,比如要能够通过开源、互联网或社交媒体获取到产品信息。第二步,快速体验、验证。而如果此时面对的是商业化产品,则意味着需要投入资金,对于很多小公司而言也将成为一个难以跨越的门槛。第三步,与业务捆绑、做验证。很多创业公司的业务具有创新性,对产品的开放性考虑较多,比如能否在产品里加上自己的特性或与自研的软件系统做结合?而开源的产品很好地满足了此类诉求。随着创业公司的成长,产品的可扩展性、可用性能否满足高并发等诉求也变得尤为重要。
开源产品对于创业公司的一大吸引力在于它提供了自服务的能力。只要其文档体系足够好,能够让用户快速找到需要的信息,用户即可轻松根据自己的需求对产品进行扩展。
我认为PolarDB开源社区后续的发展需要坚持几个原则:第一,传播力足够广,只有更多人使用才能让数据库更好地发展。好的数据库不是研发出来的,而是用出来的,应该与伙伴共同成长。第二,保证产品的易用性,能够让用户快速验证观点。第三,文档体系足够完善,开源社区的技术支持足够强大,社区和各种群足够活跃度,答疑解决问题的渠道足够畅通,增强用户在使用开源 PolarDB时的信心。
主持人:韩总作为PolarDB的客户,在最初决定使用PolarDB时,企业内部是否存在争议?争议焦点是什么?
韩毅:数据库产品是三大中间件里非常底层的一部分,其迁移难点不仅在于需要克服技术问题,还需要改变客户的使用习惯。此外,已经稳定的产品切换新的数据库,也必然存在一定的风险和成本。但恰逢彼时我们面临着业务上的瓶颈,既然不得不跨出这一步,那么宜早不宜迟。第二,PolarDB开源一年以来,其性能得到了大量客户的验证,确定了它在市场上的生命力和产品力。再者,从开源PolarDB的技术架构也可以看出,它绝对是数据库的未来。而我们也认为,跟着未走才有希望,最终决定使用PolarDB打造企业的下一代业务产品。
主持人:未来,数据库的技术发展趋势是什么?
王远:作为一个IT从业者,我认为云计算是未来的发展。其次,未来的 IT基础设施会向云计算转型,因此数据库的未来是云原生。
从数据库的历史可以看到,从单机版发展到分布式再到云,数据库架构的变迁、内核技术的变迁与部署环境息息相关。比如BufferPool的管理、刷脏技术都是基于单机版内存、 CPU 和硬盘速度不匹配而衍生出来的技术。但到了云上,资源池化、资源解耦,计算资源、网络资源和存储资源之间的关系均已发生变化。在变化的大趋势下,数据库技术要长远发展,也必须要有相应的变迁。
因此我认为云原生数据库技术是一个大的方向,如何让数据库跟着云化的基础设施架构方向演进,是落地云原生数据库过程中需要思考的问题。
王敏坚:从传统的线下或者私有云角度来看,我认为未来的数据库应该既可以做 scale in 也可以做 scale out 。传统的 scale up时代已经落幕。IBM 能稳定发展多年的原因在于它的低故障率和不重启,而Linux的 PC 机会存在一些单点故障。因此,我们依然需要持续探索高可用。
我们期待能够将异构的算力比如 AI 的算力、非结构化的算力等通过网络的总线连接,真正分布在不同的云上。
存储方面,PolarDB的能力可以很好地满足实际业务的需求,可以轻松扩缩容,可以随着客户业务量的增长无缝扩张,可以增加节点,使得线下部署更方便,使用固体验类似于超算的可插拔模式。目前我们正在尝试实现最小业务单元,一共包含4个节点,其中3个节点是PolarDB for PG 版本,一个节点做 monitoring system 再做 web GUI 的管理,通过可插拔模式提供便捷的使用体验。它具有很低的功耗,同时能够提供合适的算力。
未来,该模式也可从私有云无缝迁移到公有云。
李飞飞:我认为数据库未来3-5年的发展可以总结为四化。
首先,云原生化,云原生化存储计算分离以后,还会实现三层解耦,存储、内存、计算分离,然后做 Serverless ,从资源视角向能力视角演进。
第二,平台化。除了数据库之外,客户的实际使用场景并不一定适合上公共云。平台化意味着不仅要提供数据库的读写能力、高可用能力等,还需要将其他细碎、复杂的“脏活”进行封装,提供端到端的一站式数据服务,而不是单体的数据库。
第三,一体化。一体化包含处理分析一体化(HTAP)、分布集中一体化(平滑地 scale in 、scale out)、离线在线一体化。用户希望能够尽量模糊离线和在线的边界,不希望有多个业务烟囱,不希望有多个数据孤岛,不希望做数据迁移,希望获得更好的体验。
第四,智能化。数据库必须好用、易用、运维简单,能够进行问题的智能诊断,比如结合 ML 、AI 机器学习的技术做慢SQL治理、索引推荐、问题的诊断发现、对数据的深度挖掘,比如数据可以可以在数据库做一些简单的建模,将一些业务场景下推至数据库层直接实现。
主持人:作为生态合作伙伴,您期待与阿里云经历 5 年共创之后,会有什么样的成果?
唐总:开源数据库的发展是一段长征。我认为能够一直存活下去的数据库必然是一个全栈式数据库,能够覆盖更多业务场景。
Oracle同期的数据库有Informix和DB2,而只有它存活下来的原因在于它是当时的全栈数据库,既可以做数仓,也可以做TP。但伴随着云时代的到来,其技术栈和过重的数据库底层导致它需要付出更多努力方能追上新的技术发展。而开源产品天然具备“转身”的优势,且能够覆盖物联网、TP、AP等方方面面。
另外,想要获得更多使用场景,还需出色的易用性,降低新人的学习和使用门槛。
主持人:韩总作为客户,您期待什么样的数据库?
韩毅:我希望通过五年的发展,真正将PolarDB生态做成亚马逊雨林,所有人都能共赢。头部企业提供完善的产品性能,实现商业化的最高价值,得到市场;合作伙伴参与共创,在细分市场分一杯羹,得到利润;普通用户以极低的成本使用优质的产品,得到实惠。
李飞飞:近日,Oracle Cloud大会发布了 Oracle 23c——Converged Database 即全栈数据库。它新增了对 JSON 的支持,增强了 analytics workload,加强了对 machine learning workload 的支持。Oracle 已经不仅仅是一个数据库,更是一个敏捷、便捷的一站式数据服务,这与阿里云数据库去年提出概念本质上一致。
而且 Oracle通过一站式数据服务往下带动了它的云。AWS 的发展模式为从IaaS、PaaS层逐级往上发展,而微软从它的企业级软件入手,从上往下带动云的发展。Oracle 开辟了第三条道路,从企业的大 B 数据入手,带动云基础设施,它的未来发展值得关注。Oracle 已经不再只是一家数据库公司,它正在往数据云的方向快速发展。
阿里云数据库也需要新陈代谢,需要有年轻的人执掌这艘大船。如果最终PolarDB的生态发展成为亚马逊雨林,我相信也一定会有更优秀的人带领大家,给予大家信心和勇气,中国的数据库也必将站在世界之巅。
主持人:用一句话送给5年后的中国数据库或送给 PolarDB。
王远:希望5年后我依然深耕于PolarDB,也希望有更多的从业者、用户、开发者和合作伙伴一起共创。
王敏坚:Oracle作为曾经的巨头,如今依然在不断地革新。我们也必须一直保持进步,希望通过国内同仁的不断努力,5年以后,我们能拥有真正本土的、原创的 PolarDB。
唐成:希望五年之后的PolarDB 能够在全栈式数据库里占有一席之地。
韩毅:未来 5 年甚至50 年,希望我们能成为PolarDB 最忠实的用户。
李飞飞:只要有不断探索、不断进取的精神,五年后的PolarDB 一定可以真正成为国货之光,甚至成为世界数据库之光。
PolarDB开源生态运营负责人、高级产品专家周正中
圆桌结束后,PolarDB开源生态运营负责人、高级产品专家周正中(花名德歌)发布了《PolarDB开源社区传播大使招募计划》。他指出,PolarDB开源社区拥有大循环的生态。开源产品加上生态伙伴合力为用户提供价值。有了用户之后,会形成巨大的开放式市场。有了市场便会有全栈人才的出现,包括开发者、咨询专家、顶级用户等,可以反哺市场、反哺用户。PolarDB开源社区的运营也围绕着上述循环来进行。PolarDB的传播大使将需要参与组织PolarDB开源社区互动、平台推广和内容策划及产出。与此同时,传播大使也将获得丰厚的参与权益,比如活动优先参与权、周边礼品、评奖优先参与权以及开源人脉。希望所有用户、开发者、合作伙伴发现机会,抓住机会,成为PolarDB的传播大使。
大家可登陆PolarDB开源官网进行报名:
PolarDB-X开源官网:https://www.polardbx.com/home
PolarDB for PostgreSQL开源官网:https://www.polardbpg.com/home