随笔分类 - 5.数据库中间件
摘要：声明：本文为博主原创文章，由于已授权部分平台发表该文章（知乎、云社区），可能造成发布时间方面的困扰。 一、背景 近期由测试反馈的问题有点多，其中关于系统可靠性测试提出的问题令人感到头疼，一来这类问题有时候属于“偶发”现象，难以在环境上快速复现；二来则是可靠性问题的定位链条有时候变得很长，极端情况下可
阅读全文
摘要：[TOC] 在前面的文章中，介绍过 HBase 的入门操作知识，但对于正考虑将 HBase 用于生产系统的项目来说还是远远不够。 一般在对 HBase 做选型之前，还需要学习一些它的架构原理、弹性扩展及可靠性方面的知识。 本文来自笔者此前对 HBase 做的学习概括，可方便于对 HBase 的技术全
阅读全文
摘要：[TOC] 一、简介 在上一篇文章 "HBase 基础入门" 中，我们已经介绍了 HBase 的一些基本概念，以及如何安装使用的方法。 那么，作为一名 Javaer，自然是希望用 Java 的方式来与 HBase 进行对话了。 所幸的是，HBase 本身就是用 Java 编写的，天生自带了 Java
阅读全文
摘要：[TOC] 无论是 NoSQL，还是大数据领域，HBase 都是非常"炙热"的一门数据库。 本文将对 HBase 做一些基础性的介绍，旨在入门。 一、简介 HBase 是一个开源的、面向列的非关系型分布式数据库，目前是Hadoop体系中非常关键的一部分。 在最初，HBase是基于谷歌的 BigTab
阅读全文
摘要：[TOC] 声明：本文同步发表于 MongoDB 中文社区，传送门： "http://www.mongoing.com/archives/27310" 背景 最近线上的一个工单分析服务一直不大稳定，监控平台时不时发出数据库操作超时的告警。 运维兄弟沟通后，发现在每天凌晨1点都会出现若干次的业务操作失
阅读全文
摘要：[TOC] 声明：本文同步发表于 MongoDB 中文社区，传送门： "http://www.mongoing.com/archives/26759" 简介 最近一个 MongoDB 集群环境中的某节点异常下电了，导致业务出现了中断，随即又恢复了正常。 通过ELK 告警也监测到了业务报错日志。 运维
阅读全文
摘要：[TOC] 声明：本文同步发表于 MongoDB 中文社区，传送门： "http://www.mongoing.com/archives/26201" 背景 在生产环境的部署中，由于各种不确定因素的存在(比如机器掉电、网络延迟等)，各节点上的系统时间很可能会出现不一致的情况。 对于MongoDB来说
阅读全文
摘要：[TOC] 声明：本文同步发表于 MongoDB 中文社区，传送门： "http://www.mongoing.com/archives/26201" 一、背景 MongoDB 提供了非常强大的性能分析及监控的命令，诸如 mongostat、mongotop 可以让我们对数据库的运行态性能了如指掌。
阅读全文
摘要：[TOC] 一、简介 MongoDB 是一款流行的开源文档型数据库，从它的命名来看，确实是有一定野心的。 MongoDB 的原名一开始 来自于 英文单词"Humongous", 中文含义是指"庞大" ，即命名者的意图是可以处理大规模的数据。 但笔者更喜欢称呼它为 "芒果"数据库，除了译音更加相近之外
阅读全文
摘要：[TOC] 插曲 最近，一个远房亲戚的小表弟准备选修专业 找到我问： 挂完电话，我舒了口气，由于差点暴露自己已经不记得三范式了这个不争的事实，我悄悄打开了谷歌.... 数据库的这个三范式的概念，相信大多数人都不会陌生，从懵懵懂懂的大学时代就已经普及到教材了（没记错的话应该在数据库系统概论这本教材里）
阅读全文
摘要：[TOC] 一、背景 分页应该是极为常见的数据展现方式了，一般在数据集较大而无法在单个页面中呈现时会采用分页的方法。 各种前端UI组件在实现上也都会支持分页的功能，而数据交互呈现所相应的后端系统、数据库都对数据查询的分页提供了良好的支持。 以几个流行的数据库为例： 查询表 t_data 第 2 页的
阅读全文
摘要：背景 中午12点半，接到了线上MongoDB 数据库异常的告警通报： “CPU不间断飙升到百分百，业务也相应出现了抖动现象。” 通过排查数据库主节点的日志，发现了这样的一个慢语句： 从语句中初步判断， "keysExamined" 和 docsExamined 显示扫描了100W 条记录，其中也用到
阅读全文
摘要：[TOC] 简述 目前大多数Linux 发行版都包含了 PostGreSql的安装源，通过 yum 或 apt get 可以快速的安装好数据库。 在一些情况下，我们需要通过源码方式进行安装。 例如发行版的软件版本不满足我们的需求，或者生产环境无法对接外网下载软件等等。 下面将从头到尾介绍手动源码安装
阅读全文
摘要：一、背景 spring data mongo 实现了基于 MongoDB 的 ORM Mapping 能力， 通过一些简单的注解、Query封装以及工具类，就可以通过对象操作来实现集合、文档的增删改查； 在 SpringBoot 体系中，spring data mongo 是 MongoDB Jav
阅读全文
摘要：[TOC] 一、背景介绍 最近微服务架构火的不行，但本质上也只是风口上的一个热点词汇。 作为笔者的经验来说，想要应用一个新的架构需要带来的变革成本是非常高的。 尽管如此，目前还是有许多企业踏上了服务化改造的道路，这其中则免不了"旧改"的各种繁杂事。 所谓的"旧改"，就是把现有的系统架构来一次重构，拆
阅读全文
摘要：ShardingTaskExecutorPoolMaxSize 连接池最大大小，默认没有限制 对于mongod最大连接控制：ShardingTaskExecutorPoolMaxSize taskExecutorPoolSize ShardingTaskExecutorPoolMinSize 连接池
阅读全文
摘要：前言 接触 mongodb 已经有一段时间了，从一开始的不了解，到现在已慢慢适应这个nosql领域的佼佼者，还是经历了不少波折。 在进行数据库选型的时候，许多人总是喜欢拿 mongodb和mysql、oracle做比较，并总结出一套非常详尽的分析结果。 但是这种分析往往改变不了管理者(或是架构师)的
阅读全文
摘要：简介 mongodb提供了mongoexport/mongoimport以支持将数据表进行导入导出。 导入导出命令一般用于特殊的数据处理用途，由于不包含索引处理，且json格式无法支持所有bson类型，因此不适合用于重要数据的备份恢复。 参考文档 https://docs.mongodb.com/m
阅读全文
摘要：一、架构简介 目标 单机搭建mongodb分布式集群(副本集 + 分片集群)，演示mongodb分布式集群的安装部署、简单操作。 说明 在同一个vm启动由两个分片组成的分布式集群，每个分片都是一个PSS(Primary-Secondary-Secondary)模式的数据副本集； Config副本集采
阅读全文
摘要：[TOC] 一、简介 MongoDB目前3大核心优势：『灵活模式』+ 『高可用性』 + 『可扩展性』，通过json文档来实现灵活模式，通过复制集来保证高可用，通过Sharded cluster来保证可扩展性。 MongoDB 分片集群 "Sharded Cluster" 通过将数据分散存储到多个分片
阅读全文
