随笔分类 - 入门教程
摘要:随着企业应用的类型不断拓展,在海量数据、高并发、多类型数据的应用场景下,底层数据平台对于混合数据类型、混合业务场景处理能力的要求不断扩大,这就催生了 HTAP(混合事务和分析处理)的需求。 新一代分布式数据库,对于HTAP类型的处理有着无可比拟的优势。而本文将从实战出发,带大家了解HTAP场景下分布
阅读全文
摘要:使用背景 公司近期上线了一个新应用,底层数据库采用了国产的分布式数据库 – SequoiaDB。 因为需要将 SequoiaDB 集群纳入到公司的整个监控体系中,所以需要对 SequoiaDB 的状态、性能指标等信息收集起来,然后提供监控系统使用。 SequoiaDB 数据库本身提供了一个图形化的监
阅读全文
摘要:1 需求背景 随着数据的大集中,银行纷纷建设了负责本行各个业务处理的生产数据中心,数据中心因其负责了全行的各个业务系统,所以其并发业务负荷能力和不间断运行是评价一个数据中心成熟与否的关键性指标。 近年来,随着网上银行、手机银行等各种互联网业务的迅猛发展,银行数据中心的业务压力成倍增加,用户对于业务访
阅读全文
摘要:1 背景 随着分布式数据库在企业中的广泛应用,并且逐渐从解决海量数据的存储和读取这类边缘业务向核心交易业务应用的转变。在这类核心交易业务应用时,为了保证业务和数据的正确性,分布式数据库必须支持完善的分布式事务来保证业务并发处理过程中可能出现的数据不一致性问题。 完整的事务管理包括原子性、一致性、隔离
阅读全文
摘要:1 简介 本文将简单回顾传统数据库高可用的实现方式,并详细介绍巨杉分布式数据库的高可用实现。通过对本文的阅读,小伙伴们能够了解到传统数据库的高可用实现方式,包括;主备结构和集群架构;了解到大名鼎鼎的RAFT算法;然后最重要的,巨杉分布式数据库是如何实一致性的,如何保证在集群环境中实现数据不错不丢。
阅读全文
摘要:1前言 分布式数据库已经成为许多金融级大型企业基础数据平台的一个核心组成部分,承担着,在线交易,数据中台,历史数据管理,非结构化影像平台等多个重要业务的支撑工作。 不同于传统的应用/数据库一对一的部署方式,新一代数据平台使用一个统一的存储,对接着上层几十甚至上百个不同的应用,这种情况下,不同应用之间
阅读全文
摘要:01 背景 由于业务形式的发展,越来越多的需求需要对交易数据进行实时分析,例如推荐、决策、监控等,传统的处理办法是使用ETL的方式把OLTP业务产生的数据同步到OLAP的数据数据库,导致了数据需要在不同的数据库之间流转,耗费时间成本的同时需要耗费人力成本运维多套数据库产品。 近年来业界开始兴起HTA
阅读全文
摘要:课程背景和规划介绍 巨杉大学的学习和认证包括SCDA(巨杉数据库认证技术专员),SCDP(巨杉数据库中级工程师认证),SCDE(巨杉数据库高级工程师认证),SCDD(巨杉数据库认证开发者)等计划,未来还将持续推出针对行业用户、数据库运维、开发者和开源社区爱好者更多学习计划,共同拓展行业广度和技术深度
阅读全文
摘要:1 前言 在应用程序中,应用配置连接的数据库IP地址和端口号都是固定一个的,当所属IP地址的服务器宕机后,需要人为手工更改IP地址切换数据库服务器。同时当应用接收到成千上万的并发 http 请求时,会导致服务器消耗大量系统资源,轻则响应速度降低,严重的甚至会引发宕机。 为了充分合理的利用服务器资源,
阅读全文
摘要:01 概述 数据库是一个多用户使用的共享资源。当多个用户并发地存取数据时,在数据库中就会产生多个事务同时存取同一数据的情况。若对并发操作不加控制就可能会读取和存储不正确的数据,破坏数据库的一致性。加锁是实现数据库并发控制的一个非常重要的技术。当事务在对某个数据对象进行操作前,先向系统发出请求,对其加
阅读全文
摘要:随着业务负载的不断加重,容器化、虚拟化也成为各类在线应用必须要具备的能力。对于分布式数据库,容器化也是提升快速部署、提高运维效率的一个很好的路径。 我们重新优化了 Docker部署的方式,帮助大家更快的上手SequoiaDB集群,本文就将介绍基于 Docker 的SequoiaDB分布式集群快速部署
阅读全文
摘要:01 引言 随着用户的增长、业务的发展,大型企业用户的业务系统的数据量越来越大,超大数据表的性能问题成为阻碍业务功能实现的一大障碍。其中,流水表作为最常见的一类超大表,是企业级用户经常碰到的性能瓶颈。 本文就以流水类的超大表,探讨基于SequoiaDB巨杉数据库存储的超大表进行的性能调优。Sequo
阅读全文
摘要:最近,又双叕有企业被“删库”了。来自微盟官网的消息,微盟的业务系统数据库(包括主备)遭遇其公司运维人员的删除,系统将停止运营超48小时。 频发的类似事件也让大家对于数据安全的关注不断提高。数据是一个科技企业的核心资产,删库事件频发其实也是在提醒大家对于数据安全必须重视。想要预防风险,既需要企业建立完
阅读全文
摘要:本文来自社区用户投稿,感谢小伙伴的技术分享 项目背景 大家好!在春节这段时间里,由于一直在家,所以花时间捣鼓了一下代码,自己做了 SequoiaDB 和 JanusGraph 的兼容扩展工作。 自己觉得这个项目还是挺有意思的,本着开源即是美德的想法,我把自己的代码开源出来了,欢迎 JanusGrap
阅读全文
摘要:出场人物: 08:10 小H,是巨杉数据库引擎研发的一名工程师。7:20 天还蒙蒙亮,小H就起床了,点亮了心爱的光剑,开始了新的一天。 在08:10时候,他已经洗漱完,锻炼好身体,倒好了咖啡。 整个春节由于疫情防控,他为国家做出了贡献,基本都宅在家里了。但是他觉得,宅在家里,也是一个
阅读全文
摘要:2020年,我们经历了一个不平静的新春,在这场大的“战疫”中,巨杉数据库也积极响应号召,勇于承担新一代科技企业的社会担当,用自己的行动助力这场疫情防控阻击战! 赋能“战疫”快速响应 巨杉数据库目前服务许多政府部门应用平台,其中在广州市电子政务中心,就管理了全市近1500万人口的海量医保社保相关数据。
阅读全文
摘要:本文由巨杉数据库北美实验室资深数据库架构师撰写,主要介绍巨杉数据库的并发malloc实现与架构设计。原文为英文撰写,我们提供了中文译本在英文之后。 SequoiaDB Concurrent malloc Implementation Introduction In a C/C++ applicati
阅读全文
摘要:2020年疫情的出现对众多企业运营造成了严重的影响。面对突发状况,巨杉利用长期积累的远程研发协作体系,仍然坚持进行技术创新,按照已有规划推进研发工作,正式推出了巨杉数据库(SequoiaDB) v5.0 Beta版。 我们也在这里向大家介绍一下,SequoiaDB v5.0 版本中将会包含哪些激
阅读全文
摘要:刚刚过去的春节,新型冠状病毒疫情突如其来地横扫大江南北。为了响应国家号召,许多软件公司和互联网公司也将在较长一段时间内建议员工采取远程办公的方式,同时也存在骨干工程师无法及时返岗的问题,使得生产力大受影响。 对于软件企业来说,研发与测试是两大核心命脉。研发团队保障着产品新功能新特性的及时发布,而测试
阅读全文
摘要:1 分布式事务背景 随着分布式数据库技术的发展越来越成熟,业内对于分布式数据库的要求也由曾经只用满足解决海量数据的存储和读取这类边缘业务向核心交易业务转变。分布式数据库如果要满足核心账务类交易需求,则其需要完善分布式事务,向传统关系型数据库看齐。即分布式事务的实现也需要像传统关系型数据库的事务一样满
阅读全文