摘要：
1.前提 讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚LSM树的由来： 哈希存储引擎。 B树存储引擎。 LSM树（Log-Structured Merge Tree）存储引擎。 2. 哈希存储引擎 哈希存储引擎哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存 阅读全文
摘要：
1. HBase连接的方式概况 主要分为： 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成HBase的方式，最后一种是第三方插件Phoenix集成的JDBC方式，Phoenix集成的JDBC操作方式也能在Spark、Flink中调用。 注意： 阅读全文
摘要：
1. HBase读写的方式概况 主要分为： 纯Java API读写HBase的方式； Spark读写HBase的方式； Flink读写HBase的方式； HBase通过Phoenix读写的方式； 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成H 阅读全文
摘要：
1.HBase读写的方式概况 主要分为： 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成HBase的方式，最后一种是第三方插件Phoenix集成的JDBC方式，Phoenix集成的JDBC操作方式也能在Spark、Flink中调用。 注意： 这 阅读全文
摘要：
1. 性能优化分类 mongodb性能优化分为软件层面和操作系统层面。 软件层面，一般通过修改mongodb软件配置参数来达到，这个需要非常熟悉mongodb里面的各种配置参数； 而操作系统层面，相对简单点，主要是修改操作系统参数，比如说：关闭传输页缓存、使用SSD替代机器硬盘等等。 2. 软件层面 阅读全文
摘要：
1. Kafka概要设计 kafka在设计之初就需要考虑以下4个方面的问题： 吞吐量/延时 消息持久化 负载均衡和故障转移 伸缩性 1.1 吞吐量/延时 对于任何一个消息引擎而言，吞吐量都是至关重要的性能指标。那么何为吞吐量呢？通常来说，吞吐量是某种处理能力的最大值。而对于Kafka而言，它的吞吐量 阅读全文
摘要：
1.系统基础配置 下面的命令默认都使用root用户进行操作，操作系统为Centos7，mongodb3.6.x以上版本 1.1 修改系统配置文件/etc/security/limits.conf和/etc/profile 修改/etc/security/limits.conf持久化设置允许用户/进程 阅读全文
摘要：
1. 环境准备 在Mongo的官网下载Linux版本安装包，然后解压到对应的目录下；由于资源有限，我们采用Replica Sets + Sharding方式来配置高可用。结构图如下所示： 这里我说明下这个图所表达的意思： Shard服务器：使用Replica Sets确保每个数据节点都具有备份、自动 阅读全文
摘要：
1. Kafka全部数据清空 kafka全部数据清空的步骤为： 这里以192.168.187.201 node1、192.168.187.202 node2、192.168.187.203 node3三台机器作为kafka的集群。 注意：kafka版本为kafka_2.11-1.1.1 1.1 停止 阅读全文
摘要：
1. Elasticsearch Java API有四类client连接方式 TransportClient RestClient Jest Spring Data Elasticsearch 其中TransportClient和RestClient是Elasticsearch原生的api。Tran 阅读全文