摘要：
1.1、是什么 Mycat 是数据库中间件。 数据库中间件 中间件：是一类连接软件组件和应用的计算机软件，以便于软件各部件之间的沟通。 例子：Tomcat，web中间件。 数据库中间件：连接java应用程序和数据库 为什么要用Mycat ？ ① Java与数据库紧耦合。 ② 高访问量高并发对数据库的 阅读全文
摘要：
一、Kafka与Flume比较 在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么： flume：cloudera公司研发: 适合多个生产者； 适合下游数据消费者不多的情况； 适合数据安全性要求不高的操作；、 适合与Hadoop生态圈对接的操作。 kafka：linkedin公司研 阅读全文
摘要：
一、概述 1.1、Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。 1.2、Kafka Streams特点 功能强大 高扩展性，弹性，容错 轻量级 轻量级 阅读全文
摘要：
一、Producer API 1.1、消息发送流程 Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulato 阅读全文
摘要：
一、Kafka工作流程及文件存储机制 1.1、Kafka 工作流程 Kafka中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic的。 topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就 阅读全文
摘要：
一、环境准备 1.1、集群规划 broker0 broker1 broker2 zk zk zk kafka kafka kafka 1.2、jar包下载 http://kafka.apache.org/downloads.html 二、Kafka集群部署 解压安装包 tar -zxvf kafka 阅读全文
摘要：
一、消息队列 1.1、消息队列的两种方式 (1)、点对点模式 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。(这种方式缺点是需要有一个线程实时监听消 阅读全文