PolarDB助力易仓打造跨境行业生态链协同的产业链SaaS

简介: 2022年7月,易仓ECCANG WMS东南亚版正式上线!经过9年快速发展,易仓已经成为一家跨境全生态综合服务商,也见证了跨境行业从起步到万亿级的增长。而PolarDB作为面向下一代云原生关系型数据库,未来在跨境SaaS会提供更丰富的产品适配能力,不但能为跨境SaaS多种场景提供优秀的解决方案,提升研发和运维效率,还能显著提升生产协同效率。

2022年7月,易仓ECCANG WMS东南亚版正式上线!专为东南亚海外仓业务打造,帮助东南亚海外仓企业排忧解难,实现订单、仓库、人员、财务高效管理。易仓科技是头部的跨境行业SaaS服务商,其生态涵盖了300+工厂、100000+卖家、1700家仓储物流企业资源。与易仓携手共进的亿级卖家超过1000家,成长型卖家超过30000家。ECCANG ERP客户电商年度总流水超过3000亿元。

image.png

 

01 易仓跨境SaaS携手PolarDB

 

在传统的跨境电商运营过程中,跨境卖家经常会在多平台多店铺拉单发货处理,多海外仓库存同步,发货追踪,成本核算,广告投放方面等环节遇到很多痛点,因此针对这些环节的跨境SaaS公司也应运而生。通过打通“选品-采购-上架-推广-订单-客服-发货-财务”全链路,构建智能协同的跨境网络,大幅提升各环节运营效率,降低运营成本,持续帮助跨境卖家“降本增效”是易仓打出区分度的标志,帮助客户“降本增效”也是PolarDB一直坚持的理念。

 

相比于传统软件,跨境SaaS最大的特点是租户根据实际需要向厂商订购及支付费用,并通过互联网最终获得服务。资源层面一般采用多租户架构,特别是数据库服务,对多租户的资源复用能够有效降低开发和运维成本,实现持续快速的升级迭代。所以,在跨境电商行业,核心ERP系统的平稳高效运转是企业的生命线。如果出现故障,将直接导致订单交易中断,会影响到数百上千跨境电商企业,每一秒都意味着销售额和前期推广、人力、库存成本的巨大损失。

 

如今,易仓跨境ERP、运营管理等核心系统都用上了PolarDB MySQL。在数据库自治服务DAS的护航下,SQL洞察对SQL进行快速诊断分析,DBA在关键时刻只需看一眼可疑SQL,就能快速判断问题根因,并且获得合理的应急优化建议。而这仅仅是阿里云数据库智能化的一个小缩影。

 

 

02 勇创新:用技术创新驱动行业发展

 

易仓海外仓系统是一款专业的海外仓管理系统,凭借对仓储物流技术领域的持续研发创新,长期为跨境电商行业的众多仓储物流客户提供智能化综合解决方案。长期以来,易仓海外仓系统基于对这些客户仓储物流自动化需求的深入理解,凭借多项自主研发的核心技术及长期积累的丰富项目经验,已成功为全球多个知名仓储物流客户量身打造智能仓储物流数字化系统解决方案,有效的帮助客户实现了仓储物流环节的降本增效,并在业绩上取得了快速增长。目前,易仓海外仓系统拥有覆盖30多个国家的1700+海外仓实施经验。未来,易仓海外仓系统还将在不断破解难题中优化服务,为更多的跨境企业提供更加丰富实用的解决方案,成为值得信赖的跨境仓储物流合作伙伴,通过技术创新驱动跨境行业快速发展。

image.png

易仓坚持技术创新引领行业发展,这种追求跟PolarDB不谋而合。自2017年启动自研,采用存储计算分离、软硬一体化设计,成本仅为传统商业数据库的十分之一,经过5年努力,PolarDB如今实现的计算、内存与存储资源的“三层解耦”架构、多主多写、基于内存池化的HTAP、Serverless等功能已是全球首创或业内领先的技术。

 

03 智能化:数据库也懂跨境SaaS

 

多年来,ECCANG ERP坚定不移地为不同平台,和不同规模卖家实现长期经营价值保驾护航,深入理解客户的业务,致力打造一款更懂卖家的跨境SaaS ERP系统,持续提升卖家安全感。2021年系统更新迭代1960次,优化功能3736个。迄今为止,与易仓携手共进的亿级卖家超过1000家,成长型卖家超过30000家。ECCANG ERP客户电商年度总流水超过3000亿。

image.png

而深入理解客户的业务,致力打造更懂客户的数据库,也是PolarDB一直坚持的理念。PolarDB不断深入理解跨境SaaS行业,围绕着海量表支持,快速DDL+并发控制,大量端链接优化,计算快弹 + 存储按量付费等业务场景,提供了完美的解决方案。下面我们来分别做介绍。

 

3.1 SaaS场景海量表支持

 

针对易仓单PolarDB实例数百万表单场景,易仓运维团队联合PolarDB MySQL团队做了专项快速重启优化,单实例100万张表的重启时间提速到30 ~ 60s,200万张表可以控制在120秒内。重启时间大幅缩减到原来的1/10,大幅降低实例重启时的服务中断时间,保障易仓跨境SaaS服务可以提供高水平可用性。其次,针对易仓跨境SaaS海量表场景,热点表徒增的问题,使用PolarDB默认参数配置,往往不能同时满足性能和稳定的要求,需要部分核心参数进行了调优。下表是我们在实践过程中,形成的一个PolarDB参数配置最佳实践。

image.jpeg

 

3.2 快速DDL+并发控制

 

在跨境SaaS多租户架构背景下,易仓数百小租户共享一个数据实例,按库分租户,每个库一套相同的表。由于业务快速发展,版本迭代变更快,经常要给表加索引,给表新增字段等操作,这种一般都是由系统自动批量下发数据库。官方MySQL的实现里,很多DDL操作都是有锁变更,DDL会对表加MDL锁,而且原生实现都是单线程串行执行,会长时间堵塞数据库影响业务运行,导致业务变更效率太低,耗时不可控。

 

PolarDB MySQL支持Parallel DDL,利用并行 scan/build index,和深度优化的并行merge sort,可以帮助客户大幅度提升加索引效率,将DDL的速度提升了10倍,极大的减小了发版变更对业务影响的时间窗口,进而减轻了运维团队的工作量。

image.png

 

在多租户架构下,虽然可能只能对一张表新增一个字段,但乘以租户数,DDL的数量动辄达到数百个,所以客户十分需要数据库支持快速DDL。上线PolarDB MySQL引擎后,现在可以秒级新增表字段,而且PolarDB即将推出秒级修改和删除字段的能力,在变更操作时只需修改表定义信息,无需修改底层数据,非常适合易仓这种按库分租户的SaaS场景。

image.png

在PolarDB实例负载过高的情况下,虽然PolarDB可以支持秒级加字段,但如果对数据库实例中所有库一起加字段或者做其它DDL操作,可能还是会堵塞实例的。基于PolarDB提供的语句并发控制CCL功能,可以控制语句的并发数,避免堵塞数据库。比如,系统一次下发300个alter表语句,可以通过CCL限制一次并发执行30个,分10次执行,这块可以保证不会阻塞数据库实例。

 

3.3 大量短连接优化

 

易仓应用开发语言主要是PHP,应用层面没有使用连接池,在数据库中会产生大量短连接。对每一个短连接,传统上MySQL都会创建一个独立的线程来响应请求。当MySQL数据库有大量的连接存在时,会出现频繁线程切换消耗CPU导致性能下降。同时大量的系统线程调度和缓存失效,也会导致数据库性能急剧下降。所以,客户期望数据库内核层面可以提升处理效率,在大量短链接场景保证性能不下降。

 

经过调研和测试,在应用端存在PHP大量短连接的场景,客户选择使用了PolarDB数据库代理层面自带事务级连接池功能,其大幅减少了短连接场景下频繁创建短连接给数据库带来的负载。PolarDB开启事务级连接池后,当客户端发送请求时,会先与PolarDB代理建连,代理不会马上将其与后端数据库建连,而是先从事务级连接池里查找是否存在可用的连接(库名、用户名、客户端IP三要素可以链接复用)。若不存在,代理会与数据库创建一个新连接;若存在,则从连接池里直接拿出并使用,并在当前事务结束后将该连接放回事务级连接池,方便下个请求继续使用。数据库层面支持连接复用,可以无缝地解决客户PHP大量短连接场景遇到的问题,业务无需做任何代码调整,极大的降低了业务开发成本。

image.png

 

3.4 计算快弹 + 存储按量付费

 

易仓主要做跨境电商业务,租户(卖家)会经常搞大促,特别在黑5、双11等节日,业务流量会徒增,MySQL数据库计算资源存储需要支持快速扩容,应对业务洪峰。租户业务也有生命周期,当租户停用下线时,如果数据库存储资源不能自动回收,会导致存储资源浪费,增加资源成本。传统上面对这种问题,一般通过迁移新实例或合并实例方式来回收存储资源,但耗时太长,运维成本会比较高。

 

PolarDB MySQL采用存储和计算分离的架构,所有计算节点共享一份数据,扩容时不需要迁移底层数据,增减节点可以在分钟级完成,可以满足客户跨境电商大促时,快速升配的需求。PolarDB存储采用分布式块存储设计和文件系统,使得存储容量不限制于单节点的规格,扩展比较容易,可以支持100TB级别的数据规模,客户不用担心会有存储容量瓶颈。而且存储空间无需手动配置,根据数据量自动伸缩,按实际使用量计费。租户停用下线清理后,存储会自动回收,节约资源成本。基于共享存储架构的数据库完美解决了传统本地盘部署时,DBA需要面对的扩缩容及容量管理的挑战。极大降低了运维负担。

 

04 更易用:让复杂变简单,极致体验

 

绝大多数的跨境电商平台最开始的时候都是从铺货模式开始的,为了快速补充平台的商品品类。而亚马逊作为跨境电商的“元老级”平台,现在已经慢慢转为精细化运营的模式了。精细化运营简单的理解就是精雕细琢的打磨某一品类的几件产品,将其打造为爆款、热卖款。因此数据和仓储就成为了精细化运营中非常重要的两个因素。假设您有多个店铺的时候,查看数据和仓储情况就会变成非常头疼的问题。在此背景下,ECCANG ERP系统就诞生了,汇集营销数据总览、Listing管理、推广管理、客服、库存、运营报表等功能,从数据、推广、客服、库存多维度助力卖家精细化运营升级,让复杂的事情变得简单,给用户极致体验。

image.png

“让复杂的事情变得简单,给用户极致体验”,也是PolarDB一直坚持的理念,特别在PolarDB HTAP的技术实现上。传统的HTAP方案,比较常见的是使用两套系统来分别满足的OLTP和OLAP型需求,在两套系统中间通过数据同步工具等进行数据的实时同步。随着采用多副本的分布式数据库兴起,由于一份数据在多个副本之间上完全独立,因此其中一个副本可以使用列存来响应AP型的查询请求,进而出现了基于多副本的Divergent Design方案。比多副本Divergent Design方法更进一步的,是在同一个数据库实例中采用行列混合存储的方案,同时响应TP型和AP型负载。这是先进商用数据库Oracle/SQL Server/DB2等不约而同采用的方案。

image.png

对比上述三种方法,从组合搭积木的方法到Divergent Design方法再到一体化的行列混合存储,其集成度越来越高,用户的使用体验也越来越好。但是其对内核工程实现上的挑战也一个比一个大。基础软件的作用就是把复杂留给自己把简单留给用户,因此一体化的方法是符合技术发展趋势的,所以PolarDB HTAP采用行列混合存储的技术路线,并提出了In-Memory Column Index(IMCI)的技术实现方案,为PolarDB带来列式存储以及内存计算能力,让用户可以在一套PolarDB数据库上同时运行TP和AP型混合负载,在保证现有PolarDB优异的OLTP性能的同时,大幅提升PolarDB在大数据量上运行复杂查询的性能。

image.png

目前,易仓亚马逊运营系统大量租户的多维店铺和商品统计分析已经跑在PolarDB HTAP服务上了,给用户带来了极致的性能体验。

 

05 全链路:行业全链路 + 生态协同发展

 

易仓不但打造了一个跨境行业全产业链SaaS,还实现了跨境生态的高效协同。易仓SaaS产品“M2B→ERP→TMS→WMS”连通了工厂、卖家、物流商、海外仓服务商企业,围绕跨境全链路的信息化形成了闭环,各关键节点运营效率大幅提升。易仓跨境产业链SaaS和生态交易双向驱动,让全球贸易更加简单轻松,切实帮助客户降低运营成本、交易成本和物流成本。

image.png

PolarDB也选择了跟易仓类似的发展模式,在不断壮大自身的优势的同时,不断适配各类生态工具,比如数据传输服务DTS、数据库库自治服务DAS、数据管理DMS、数据备份服务DBS等等,跟生态工具协同发展,让客户轻松方便使用PolarDB数据库,提升运维工程师工作效率。

 

易仓租户数据分布全球,按库分租户,数百小租户共享一个PolarDB实例,单实例百万级表,而且数据体量大。为了满足下游业务实时数据分析需求,PolarDB单实例有10万+核心表要实时接入数据中心。在这种存在海量库表,租户数据分布全球的复杂SaaS场景,加上数据体量大,如何便捷、高效、低延迟地完成实时集成租户数据到数据中心,且能保证数据一致性,成为一个巨大挑战。

 

易仓数据中心基于DTS OPEN API建设了一个实时数据集成平台,实现自动化按表粒度的全量初始化,并实时同步租户增量数据到消息队列Kafka,数据延迟毫秒级,支持断点续传,确保数据不丢失。通过修同步对象来增加新表同步,很方便实现新增表的全数据量初始化,满足下游持续增加的业务需求。真正做到了易仓跨境SaaS全球租户数据秒级响应。

 

image.png

 

结语

 

经过9年快速发展,易仓已经成为一家跨境全生态综合服务商,也见证了跨境行业从起步到万亿级的增长。即便经历了这次疫情的突袭,易仓一直致力于让跨境生态链中的工厂、卖家、海外仓、物流实现协同,实现了从跨境SaaS 软件服务到跨境全生态综合服务的蜕变,并致力于 2025 年打造一个万亿级的跨境生态。而PolarDB作为面向下一代云原生关系型数据库,未来在跨境SaaS会提供更丰富的产品适配能力,不但能为跨境SaaS多种场景提供优秀的解决方案,提升研发和运维效率,还能显著提升生产协同效率。PolarDB 和易仓会继续携手前进,会继续为易仓跨境业务发展提供更贴心的技术支持。

原文链接:https://click.aliyun.com/m/1000354604/

本文为阿里云原创内容,未经允许不得转载。

posted @ 2022-08-23 17:47  阿里云云栖号  阅读(268)  评论(0编辑  收藏  举报