数据库产品事业部月刊(2019年5月)
一、重点事件
洞见技术前沿 阿里云全明星阵容亮相DTCC 2019
5月8日-10日,国内最具影响力的数据库技术行业会议——DTCC 2019在京召开。作为DTCC的老朋友和全球领先的云计算厂商,阿里云数据库团队受邀参加本次技术盛会,不仅派出了重量级嘉宾阵容,由数据库产品事业部总负责人李飞飞博士领衔,还为广大数据库业内人士和行业用户奉上了8场精彩议题。分别就云原生数据库、新一代自研分析型数据库、分布式数据库、时序数据库、图数据库等技术话题,展开深入讨论,分享最佳实战经验,充分展示了我们在数据库全域布局的技术能力。
阿里云数据库产品事业部总负责人李飞飞博士(花名:飞刀)
同时,李飞飞博士还作为DTCC大会的专家顾问,把握数据技术的主题内容与方向。
阿里云智能数据库产品事业部研究员林亮(花名:意博)
大会总参会人数4000+,参会人员广泛,覆盖了来自金融、政府、医药、零售、交通等行业的CIO/CTO/数据库开发者;
内容+直播回顾:https://yq.aliyun.com/articles/704438
POLARDB获选2019中国数据库年度最佳创新产品
在DTCC 2019上,阿里云自研云原生数据库POLARDB获选“年度最佳创新产品”。
阿里云数据库产品总监曹伟
阿里云数据库产品总监曹伟表示:“云原生数据库天然拥有云计算的弹性能力,同时兼具开源数据库简洁易用、开放的特点,以及传统数据库处理性能的优势,POLARDB将更好地帮助大企业轻松实现上云,让企业更专注于业务创新。”
查看详情:https://yq.aliyun.com/articles/702310
阿里云数据库产品媒体发布会 POLARDB发布重大更新
5月21日,数据库新品发布会顺利在京召开,现场近40家媒体,以及分析师、客户和合作伙伴到场。发布会上PolarDB发布重大更新,帮助企业一键迁移传统数据库,将线下的MySQL、PostgreSQL和Oracle等数据库轻松上云,最快数小时内迁移完成。
同时,由客户银泰百货和合作伙伴东方龙马现场分享了与阿里云合作的最佳实践,合作伙伴东方龙马在传统线下领域具有很强的标杆效果,此次发布会对传统数据库上云起到了很大的放大效应和影响作用。
新闻稿《阿里云PolarDB发布重大更新:支持Oracle等数据库一键迁移上云》上线近百家核心IT/门户/垂直媒体渠道,包括36氪、澎湃新闻、新浪、国际在线、搜狐、腾讯等。
查看详情:https://yq.aliyun.com/articles/703158
Percona Live 2019:拥抱开源 AliSQL品牌升级
当地时间5月28日-30日,MySQL领域规模最大的会议Percona Live在美国Austin召开,来自阿里云数据库产品事业部的印风获得MySQL Community Awards 2019 个人奖,以表彰其对MySQL社区做出的长期贡献。印风的获奖是继阿里云去年获得“MySQL社区公司贡献奖”之后再次得到MySQL社区的认可。阿里云数据库积极参与和丰富MySQL的生态,将内部的技术通过云服务和开源的方式分享。
数据库团队共分享了8个议题,主要内容覆盖两大部分,一是自研产品POLARDB及其重要功能Parallel Query; 二是开源部分,包括AliSQL对MySQL社区的贡献、以及在RDS产品层面的创新,主要传递AliSQL品牌升级,阿里云数据库拥抱开源的计划,并解读集团多年业务应用场景。
查看详情:https://yq.aliyun.com/articles/703801
企业级云灾备系列发布会&沙龙(5.27-5.31)
5月27日-31日,《企业级云灾备解决方案》系列发布会分别通过北京、深圳、重庆三场活动,分享从网络、存储、应用到数据库的企业级云灾备解决方案。数据库团队主要分享云时代的数据库新容灾架构,以及混合云下数据库容灾备份最佳实践。发布会现场演示了“拔掉数据库电源”,10秒后通过业务容灾到阿里云杭州Region后,业务恢复(其中该容灾方案中,通过DTS实现RPO:0,RTO:1秒);
查看详情: https://yq.aliyun.com/articles/704751
阿里云数据库研究成果连续2次入选国际顶会SIGMOD
SIGMOD是数据库领域的顶级会议,全球顶级科技公司及学术机构都会参与,堪称数据库领域的"奥林匹克",入选论文代表了数据库领域的最高水平。
阿里云数据库入选论文《X-Engine: An Optimized Storage Engine for Large-scale E-Commerce Transaction Processing》主要介绍了面向大规模流量场景设计的自研存储引擎X-Engine。SIGMOD委员会点评:“X-Engine具备比同类系统更好的性能和效率,且在实际生产环境中得到了完善的测试和考验。“
连续两年入选SIGMOD在国内企业中尚属首次,体现了阿里云自研数据库技术的能力,同时也是中国企业在数据库核心系统内核方向的论文第一次被SIGMOD收录。
查看详情:https://mp.weixin.qq.com/s/ThMLch-b0PN5avCrElOciQ
阿里云峰会新加坡站 (5月30日)
新加坡峰会上,阿里云面向全球企业发布了10多款新产品和功能,数据库产品事业部在主论坛发布了POALRDB for Oracle和GraphDB,并在展区对这两款数据库进行了展示,助力企业完成基础设施的云化、核心技术互联网化、应用数据智能化。本次大会是产品国际化的重要发声渠道,辐射东南亚、香港区域,提升了阿里云数据库产品的国际影响力。
查看详情:http://www.ctoutiao.com/1851993.html
二、商用产品技术
POLARDB
· 支持一键升级 RDS MySQL 到 POLARDB
POLARDB 完全兼容 MySQL,可以直接替换 MySQL,但迁移过程却较为复杂。为使RDS用户比较方便地使用POLARDB,现推出了一键升级的功能,用户可以基于RDS创建一个增量同步中的POLARDB,利用原生复制技术完成在线热迁移,整个过程可以确保数据0丢失,分钟级的切换时间,并且支持7天内随时回滚,免除后顾之忧。
查看详情:https://help.aliyun.com/document_detail/121582.htm
RDS
· RDS for MySQL 8.0发布
5月29日,阿里云RDS for MySQL 8.0正式上线,使得阿里云成为紧跟社区步伐,发布MySQL最新版本的云厂商。RDS for MySQL 8.0 产品是阿里云推出的 MySQL 系列云产品之一,使用完全兼容 MySQL 8.0 的阿里云 AliSQL 8.0 分支,不仅有2倍以上性能提升,还发布了SQL窗口函数、JSON扩展语法等企业级新功能。
除了官方在 MySQL 8.0 推出的全新功能外,AliSQL 沉淀了许多在 阿里巴巴集团电商业务和云上几十万客户在使用 MySQL 过程中遇到的问题和需求,以此来加固AliSQL, 提升 AliSQL 的性能和稳定性。
生态与工具
· 数据传输服务DTS上线新版订阅功能
新版订阅新增功能如下:
1.支持通过创建多个消费组实现多下游消费,相对老版本大大降低用户使用成本。
2.支持订阅自建MySQL数据库,为自建数据库用户订阅数据提供更多的便利。
3.在支持经典网络的基础上,新增了专有网络的支持。用户可以通过专有网络订阅消费数据,以获得更低的网络延迟和更高的安全性。
4.支持Kafka生态,通过使用Kafka Client用户可以直接消费数据订阅通道中的数据。
· 数据传输服务DTS支持MySQL 8.0
数据传输DTS上线MySQL8.0作为数据源和目标的结构、全量、增量迁移、同步功能。上线MySQL8.0的订阅功能,MySQL8.0的订阅基于新版本的订阅功能实现。
· 数据传输服务DTS上线云Redis单实例作为数据源的同步功能
在原有支持自建Redis作为数据源的同步功能基础上,增加支持云redis单实例作为数据源的同步功能,可实现云redis单实例到云redis单实例、云redis读写分离实例、云redis cluster、用户自建ECS Redis单实例、用户自建ECS redis cluster、用户专线接入的redis单实例和Redis cluster。
· 数据传输服务DTS支持ADB 3.0
数据传输服务DTS支持MySQL到ADB3.0的结构迁移、全量、增量迁移和同步功能,实现用户方将MySQL数据同步到ADB3.0做实时分析的场景。
· 混合云数据库管理 HDM 上线MySQL 性能快照
混合云数据库管理 HDM支持当MySQL的活跃会话数量触发告警阈值后,自动产生性能快照,保存异常现场,方便用户排查数据库异常。
· 混合云数据库管理 HDM 支持Redis 缓存分析
混合云数据库管理 HDM 支持Redis缓存分析,确认Key分布情况,减少因为Key倾斜引发的内存不足、性能下降等问题。
· 混合云数据库管理 HDM 支持Redis 会话管理
混合云数据库管理 HDM 支持Redis会话管理,帮助用户直观的查看正在执行的会话,快速确认会话的来源,并支持直接终止异常会话。
· 数据管理DMS个人版发布全球化管理、MySQL8.0支持和ADB 3.0支持
全球化管理发布后,用户通过控制台可以看到全球各个地域的数据库实例列表,在列表直接进行数据库登录操作,不需要再区分所属地域进行独立地址登录使用。并支持在控制台查看全球所有区域实例的操作日志进行相关审计。
新增ECS自建数据库、RDS数据库MySQL8.0版本的支持,用户可以通过DMS进行可视化的数据库表结构、表数据的管理。
新增ADB3.0数据库类型的支持,用户可以通过DMS进行可视化的数据库表结构、表数据的管理。
· 数据管理DMS企业版售卖规格调整
本次新增4个大规格,全面调整已有7个规格放宽实例数的限制,方便用户以更低的成本来使用本产品。帮助用户快速构建简单易用、高数据安全、高变更安全、高研发效率的数据库DevOps平台。
· 数据管理DMS企业版实例录入OpenAPI新增ECS自建、VPC专线实例的支持
扩展原有OpenAPI新增实例来源为ECS自建、VPC专线的支持,方便用户更高效、自动化完成相关数据库资源的统一录入管理使用。
· 数据管理DMS企业版提升不锁表结构变更能力
本次提供不锁表结构变更开关选项,帮助用户可更灵活选择需要的执行方式,针对MySQL源上OnlineDDL行为会造成的主备延迟问题,可以通过产品自研提供的不锁表结构变更优先的方式来进行规避。
· 跨数据库查询DSQL新增POLARDB数据库类型的支持
在原有MySQL、SQL Server、PostgreSQL、Redis、DRDS几个数据库类型可完成的跨实例、跨库join查询的基础上,本次新增了POLARDB与已支持数据源之间的join查询支持,方便用户通过console或者应用程序,在不同数据源之间做快速、高效、在线的数据join分析。
三、技术沙龙/客户案例:
数字中国行-数据库技术沙龙(重庆站)
2019年5月28日下午,阿里云数据库技术沙龙(重庆站)在两江新区互联网产业园阿里云创新中心(重庆)举行。本次沙龙邀请了四位著名的阿里云产品专家围绕云数据库技术进行分享,吸引了近百名参与者。活动由四个主题分享构成,分别是《阿里云数据库的演变与最佳实践》、《POLARDB | 划时代的云原生数据库》、《阿里云NoSQL数据库,助力企业构建敏捷架构》,《分析型数据库最佳实践》,主讲人通过大量实例向大家生动讲解了云数据库技术。
查看详情:https://mp.weixin.qq.com/s/ddJcgifro8MDXa-fijB1vw
客户案例:玖富集团
- 客户介绍:
玖富集团是中国移动互联网金融综合服务平台,成立于 2006 年,基于移动互联网和大数据技术为用户提供普惠金融服务。目前玖富集团旗下品牌累计注册用户已经突破 6000 万,连续两年被国际四大审计机构德勤评为“中国高科技高增长企业 50 强企业“。
- 客户痛点:
随着玖富集团旗下的金融风控业务的快速发展,如何为业务提供快捷高效的数据服务成了客户的一大挑战,理想中的数据库既能够长期存储庞大的历史数据,还可以实现亿级数据的高效查询,而客户目前使用的传统 MySQL面临存储空间不足的问题,同时庞大的业务查询量也导致数据库性能下降、查询低效,对客户业务的顺利发展造成了一定的影响。
- 解决方案:
为解决客户痛点,首先需要统一各个业务系统调用爬虫服务的入口,以避免各系统与爬虫系统、风控决策流系统分别进行数据交互。在阿里云的协助下,玖富集团构建了爬虫埋点服务系统,由前置服务统一调用和获取爬虫数据,并提供给不同的业务系统,大大提升了业务查询效率。
同时,为了确保在多个系统并发调用爬虫系统时的性能,玖富集团使用了阿里云 POLARDB 数据库,依靠 POLARDB 强大的计算能力,通过接口的方式快捷高效地为众多业务系统提供相关的数据,顺利解决了庞大数据查询慢的问题。
此外,客户还通过 POLARDB 灵活实现了只读实例的扩展,很好地提升了业务数据的存储能力,完美解决了金融风控庞大数据存储和计算难的痛点。
- 客户价值:
目前玖富集团在阿里云POLARDB中的数据已经达到 20 TB+ ,其中单表最大已达1TB,而且还在快速增加中。阿里云 POLARDB通过弹性自适应增长、自带读写分离的高可用服务和高并发查询能力,完美解决了玖富集团金融风控庞大数据存储和计算的痛点,为客户提供了高效可靠的服务,助力客户创造更多的业务价值。
- 项目架构图:
整体风控系统改造架构图
客户案例:数据处理类迁移上云
客户名称:某数字营销有限公司
- 客户痛点:
原 IT 架构数据存储方面,是自建 SQL Server 数据库放在 Linux 系统的容器中,导致数据更新慢,响应时间长,工作效率低下,数据时效性降低,影响业务开展。现在的IDC 机房,针对安全方面部署少,经常被攻击篡改网站,人工防护运维成本高,成效低,一旦被攻击,损失惨重。后续计划建大数据平台,线下机房性能适配性低,可拓展性低,投入高收益低。
- 解决方案:
· 数据存储:用云上的 RDS ,进行数据存储和数据同步,不同的 RDS 进行业务区分。按照客户的业务需求,结合阿里云现有的产品功能,将放置在线下Linux 系统容器中的 SQL Server 数据库,先用 MariaDB 清洗,然后用 MongoOB 来进行数据同步。基于两个数据库,再配置一个 DBS ,方便进行数据备份。
· 安全部署:在两台 WEB服务器使用了防篡改版的安骑士,并且开通了按量付费的 WAF,进行安全防护。
· 后期计划: RabbitMQ 后期计划开展建设大数据平台,预计结合客户的需求,提供完整的架构方案和技术知识。目前客户是自建的RabbitMQ,后续会协助客户用使用消息队列 MQ 一 AMQP ,以及 ARMS 等,以及舆情分析平台,来助力客户开展业务。
- 客户价值:
大幅度提升了数据更新速度,响应时间缩短,提升 IT效率,高效工作,提升数据处理的速度。
有效保护业务安全,降低安全紧急事件带来的业务损失,提高运维的工作效率,线上部署安全产品成本可控实用性高。
本文作者:七幕
本文为云栖社区原创内容,未经允许不得转载。