LXL_1

2019年6月11日

摘要：第 7 章 Kafka 与 Flume 7.1 Kafka 与 Flume 比较在企业中必须要清楚流式数据采集框架 flume 和 kafka 的定位是什么： flume：cloudera 公司研发: 适合多个生产者；适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与 Had 阅读全文

posted @ 2019-06-11 16:06 LXL_1 阅读(507) 评论(0) 推荐(0) 编辑

kafka-Streams

摘要：第 6 章 kafka Streams 6.1 概述 6.1.1 Kafka Streams Kafka Streams。Apache Kafka 开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在 Kafka 上构建高可分布式、拓展性，容错的应用程序。 6.1.2 Kafka Stre 阅读全文

posted @ 2019-06-11 15:39 LXL_1 阅读(283) 评论(0) 推荐(0) 编辑

Kafka-producer拦截器(interceptor)

摘要：第 5 章 Kafka producer 拦截器(interceptor) 5.1 拦截器原理 Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的，主要用于实现 clients 端的定制化控制逻辑。对于 producer 而言，interceptor 使得阅读全文

posted @ 2019-06-11 14:06 LXL_1 阅读(361) 评论(0) 推荐(0) 编辑

2019年6月10日

Kafka-API

摘要：第 4 章 Kafka API 实战 4.1 环境准备 1）启动 zk 和 kafka 集群，在 kafka 集群中打开一个消费者 [atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 阅读全文

posted @ 2019-06-10 23:34 LXL_1 阅读(221) 评论(0) 推荐(0) 编辑

Kafka-工作流程分析

摘要：第 3 章 Kafka 工作流程分析 Kafka核心组成 3.1 Kafka 生产过程分析 3.1.1 写入方式 producer 采用推（push）模式将消息发布到 broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障阅读全文

posted @ 2019-06-10 15:24 LXL_1 阅读(430) 评论(0) 推荐(0) 编辑

Zookeeper-实战

摘要：第 3 章 Zookeeper 实战 3.1 分布式安装部署 1．集群规划在 hadoop102、hadoop103 和 hadoop104 三个节点上部署 Zookeeper。 2．解压安装（1）解压 Zookeeper 安装包到/opt/module/目录下（2）同步/opt/module 阅读全文

posted @ 2019-06-10 01:06 LXL_1 阅读(226) 评论(0) 推荐(0) 编辑

2019年6月9日

Zookeeper-入门-安装

摘要：第 1 章 Zookeeper 入门 1.1 概述 Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目。 Zookeeper工作机制： 1.2 特点 1）Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。2）集群中只要有半阅读全文

posted @ 2019-06-09 23:40 LXL_1 阅读(189) 评论(0) 推荐(0) 编辑

Kafka-集群部署

摘要：第 2 章 Kafka 集群部署 2.1 环境准备 2.1.1 集群规划 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 2.1.2 jar 包下载 http://kafka.apache.org/downloads.html 2.2 阅读全文

posted @ 2019-06-09 22:51 LXL_1 阅读(244) 评论(0) 推荐(0) 编辑

2019年6月8日

集群常用脚本

摘要：集群分发脚本:xsync jps: util.sh 群起ZK脚本： Kafka群起脚本: Kafka群关脚本: 群起hadoop相关进程脚本：群关ZK以及hadoop相关进程脚本： HADOOP群起脚本 echo " 正在开启datanode节点 " for i in root@hadoop101 阅读全文

posted @ 2019-06-08 23:59 LXL_1 阅读(329) 评论(0) 推荐(0) 编辑

kafka-概述

摘要：第1章 Kafka 概述 1.1 消息队列（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监阅读全文

posted @ 2019-06-08 02:05 LXL_1 阅读(156) 评论(0) 推荐(0) 编辑

公告