巨杉TechDay回顾 | WARNING！您参加的数据库沙龙热度已爆表……

自从2008年“大数据”这一概念被首次提出以来，在过去这10年中，几乎各行各业都或多或少受到了这一概念的影响。与此同时，在AI、云计算、物联网、区块链等新兴技术快速发展的今天，数据库己经成为了决定所有应用能否成功运行的核心。但随着业务规模的不断扩大，各式各样的数据正呈现指数级增长，传统数据处理系统已不堪重负，数据库性能问题成为了系统稳定运行的主要瓶颈。

 

那么，如何有效解决海量数据引发的数据库压力问题？如何在海量的数据中提取具有高价值的部分？如何解决多类型数据对数据处理能力的高要求？如何能使后台数据库适应业务模式的变革不断升级，又能满足数据量爆增所带来的存储、查询、分析、挖掘等需求呢？为破局以上难题，让开发者们更好地了解数据库架构设计性能优化方式，巨杉数据库特别举办“巨杉TechDay：数据库架构设计与性能优化” 北京站活动，邀请多位数据库方面的专家带来精彩纷呈的技术干货、分享实实在在的应用实践经验，让现场数百位开发者收获满满。

 

 

 

PB级多源异构数据管理实践

巨杉数据库技术总监，作为第一位演讲嘉宾，详细介绍了在数据量级巨大且复杂的应用需求场景下，巨杉数据库是如何实现数据存储与交易等需求的。

 

 

 

嘉宾从应用角度切入本次主题分享，应用程序开发从烟囱式架构逐渐向分布式转型，在这一过程中，数据库如何应对微服务应用架构成为一大难题。此时，分布式数据库因规模大、容量大并支持高并发的特性，可以更好的存储复杂多样的数据。

 

 

 

 

 

而巨杉分布式数据库因此脱颖而出，完全自研的分布式存储引擎，利用C++实现一套完整分布数据库，这套分布式数据库有自己独立的计算层。此外，巨杉分布式数据库不仅支持联机交易、数据中台、内容管理三大核心应用场景，更支持关系型、文档型、对象型等多种数据库实例，轻松解决多类型数据对数据处理能力的高要求。

 

 

 

最后，嘉宾重点为我们介绍了巨杉数据库的功能特点，首先，数据分片能力，利用哈希算法进行分区分片；其次，高可用能力；第三，水平扩展能力；第四，强大的分布式事务能力；第五， MySQL兼容能力。

 

通过嘉宾深入浅出的为大家介绍关于巨杉数据库的特点、能力以及应用场景，开发者们不仅加深了对分布式存储的基本认识，更有机会利用巨杉数据库，解决更多实际问题与难题。

 

 

 

SQL-NoSQL-NewSQL 数据库架构演变全解析

天下大势，分久必合，合久必分，没有什么是永恒的。在SQL的发展过程中，占据数据库市场绝大部分的SQL、NoSQL、NewSQL，目前也呈现出融合的趋势。在当下对于企业而言，为项目找到最适合的工具是重中之重；对于个人而言，最理想的状态则是企业所选择的工具，我刚好会用。云和恩墨数据库专家张甦为大家分享了SQL、NewSQL和NoSQL数据库的演变过程。

 

 

 

张甦在为现场的开发者详细的介绍一些主流产品后，提出了“在数据量爆发式增长，数据存不下来该怎么办”的问题。对此他为现场的开发者例举多个解决方法并作出总结。

 

首先，利用SQL模型-转换为微服务，集中化存储，其结论是数据高度耦合，如果增加微服务数量，底层数据库无法扩展，整体性能还是会受到限制；SQL模型-转换为微服务，分散化存储，结论为运维成本高，底层数据库还是会存在容量上限问题，还需要考虑扩展问题。

 

所以，为了达到水平扩展能力，解决数据存不下的问题，NewSQL模型因拥有多模多租户、SQL兼容、分布式扩展、ACID事务的支持，强一致性等特性，作为更加简单的存储模型，成为企业与开发者绝佳的选择。

 

 

 

 

 

 

 

数据库性能展示平台-CleverDB构建之路

 

京东数科数据库工程师曲喆作为第三个出场的讲师，直奔主题为大家分享了由京东数科自主研发的数据库展示CleverDB平台，通过该产品的背景、功能以及设计实现三部分介绍，让现场的开发者更加直观的了解该平台以及它所赋予的强大功能。

 

曲喆强调，为帮助DBA人员消除DBA经验运维与运维差异，从而提升整体数据库运维能力；针对研发人员，意在为其扫除研发盲区，激发研发赋能，推崇自主优化；而对于管理者来说，他们需要资源利用率审计，合理资源评估，全面的资源信息展示。为此，京东数科推出这款CleverDB产品，大大满足三方需求。

 

 

 

 

 

接下来，曲喆详细介绍了CleverDB的功能特性，CleverDB采用大数据计算和机器学习技术，对数据库性能进行全面诊断，以用户视角，进行性能指标的多维展示，帮助用户快速了解数据库运行状况、智能分析和定位问题并进行故障解决。

 

 

 

具体而言，CleverDB会以多维度、细粒度诊断，通过会话、空间、性能、慢SQL等维度分析实现对数据库进行全方位诊断；化繁为简的将所有资源信息、性能状态和问题隐患直观展示，定期推送巡检报告；并推出智能优化服务，多个功能利用神经网络、机器学习和大数据计算等技术实现智能化解决方案。

 

 

 

游戏数据库管理与性能优化

最后一位与大家分享的嘉宾，光宇游戏资深DBA余传波，余传波老师的出场也将主题分享推向了高潮。

 

 

 

余传波强调，传统的关系型数据库承载了太多的业务与业务逻辑，导致原本不该由数据库承担的东西都放到数据库层，而游戏行业则是为数不多的正常使用数据库功能的行业。

 

所以，游戏数据库具有以下几点特性，首先，游戏数据库业务逻辑简单没有复杂的SQL语句，不可能出现过多的存储过程和触发器；其次，自带分库属性，所登陆的区组映射到数据库中，就是登录到某一个数据库中；最后，游戏数据能够离线，区别于类似交易库不能离线，游戏操作的数据库因自带本地缓存，所以是可以离线的。

 

 

 

接下来，余传波介绍了游戏数据库的管理的必经之路，首先，标准化，强制要求每台DB实体机器配置/目录结构/文件命名规则/定义脚本模板；其次，半自动化，通过自动化工具进行批量运维,所有操作只需登录一台集控服务器执行批量并发操作的脚本，独立的版控服务器，通过并行的主动推送；最后，平台化，多个运维系统相互协调配合实现,所有的操作在WEB管理平台就可完成。除此之外，他更贴心的向每一个DBA表示，永远记得给自己留一条后路，很多例子告诉我们，最后一份备份文件十足重要。

 

 

 

 

 

随着余传波老师精彩演讲的结束，本次沙龙技术的分享也接近尾声，现场的技术小伙伴们认真倾听积极互动，与现场的技术大咖共同见证着巨杉数据库的神奇魅力，并深刻的体会到巨杉在数据库架构设计与性能优化方面的尝试与创新。为助力开发者在大数据时代抓住更多机会，在创新的海洋里持续远航，巨杉TechDay将持续为大家带来更多精彩内容，如果你还意犹未尽，那我们下一次沙龙活动再会吧！

 

 

 

 

PS：关注公众号，发送“0727”，或按图示操作，即可获取PPT~