随笔分类 - Kafka基础
Kafka与Flume之集成比较
摘要：Kafka与Flume之集成比较 一、Kafka与Flume比较 在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么：flume：cloudera公司研发: 适合多个生产者； 适合下游数据消费者不多的情况； 适合数据安全性要求不高的操作； 适合与Hadoop生态圈对接的操作。kaf
阅读全文
Kafka之配置信息
摘要：Kafka之配置信息 一、Broker配置信息 属性 默认值 描述 broker.id 必填参数，broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录。可以指定多个目录，中间用逗号分隔，当新partition被创建的时会被存放到当前存放partition
阅读全文
Kafka 之 Streams
摘要：Kafka 之 Streams 一、概述 1.1 Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。 1.2 Kafka Streams特点 1）功能强大 高
阅读全文
Kafka 之producer拦截器(interceptor)
摘要：Kafka 之producer拦截器(interceptor) 一、拦截器原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。 对于producer而言，interceptor使得用户在消息发送前以及produce
阅读全文
Kafka之 API实战
摘要：Kafka之 API实战 一、环境准备 1）启动zk和kafka集群，在kafka集群中打开一个消费者 [hadoop1 kafka]$ bin/kafka-console-consumer.sh \ --zookeeper hadoop1:2181 --topic first 2）导入pom依赖
阅读全文
Kafka之工作流程分析
摘要：Kafka之工作流程分析 kafka核心组成 一、Kafka生产过程分析 1.1 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。 1.2
阅读全文
Kafka之概述
摘要：Kafka之概述 一、消息队列内部实现原理 （1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者
阅读全文
Kafka之安装
摘要：Kafka之安装 一、下载kafka 此博客只讲述kafka0.8和kafka1.0两个版本 更改kafka下的/home/bigdata/kafka/config/server.properties 1.1 kafka0.8版本 20行：broker.id=1 28行：host.name=hado
阅读全文
