随笔分类 - kafka
摘要:在创建kafka topic的时候可以添加很多配置,如下表格 参考:Kafka Topic配置 参数名 含义 值 cleanup.policy 日志清除的策略,默认为 delete。如果要使用日志压缩,就需要让策略包含 compact。需要注意的是,如果开启了 compact 策略,则客户端提交的消
阅读全文
摘要:参考kafka官方文档,版本1.0.x http://kafka.apache.org/10/documentation.html#consumerapi 依赖,选择 Cloudera Rel 中的 1.0.1-kafka-3.1.0 <dependency> <groupId>org.apache
阅读全文
摘要:1,由cdh安装的kafka的默认存储路径如图所示在/var/local/kafka/data,一般会进行修改 kafka配置参考:apache kafka系列之server.properties配置文件参数说明 路径下文件如下 如果是多个路径的话,使用,进行分隔,比如/data01/kafka/d
阅读全文
摘要:参考 : kafka管理器kafka-manager部署安装 下载Kafka Manager,并进行打包,由于Kafka manager是由scala写的,所以需要由sbt的支持 git clone https://github.com/yahoo/kafka-manager cd kafka-ma
阅读全文
摘要:1. 搭建kafka的时候需要根据数据流量预估kafka集群的规模,aws为其MSK服务(aws上的托管kafka)提供了一个excel表格,可以输入参数来评估集群需要的硬件参数 https://amazonmsk.s3.amazonaws.com/MSK_Sizing_Pricing.xlsx
阅读全文
摘要:参考 Kafka bootstrap-servers vs zookeeper in kafka-console-consumer 中说建议使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server Kafka专业术语,参考 Apache kafka 工作原理介
阅读全文
摘要:1.下载 kafka和zookeeper 这里下载的是 kafka_2.10-0.10.0.0.tgz 和 zookeeper-3.4.10.tar.gz 可以在清华镜像站下载 https://mirrors.tuna.tsinghua.edu.cn/apache/ 或者apache官网 https
阅读全文
摘要:1.介绍 kafka-ui是一个开源的kafka ui工具,支持kafka,schema registry(avro和protobuf都支持),kafka connect,KSQL DB等组件 github项目 https://github.com/provectus/kafka-ui docker
阅读全文
摘要:kafka connect是kafka提供的一个用于在kafka和其他数据系统之间传输数据的工具 https://kafka.apache.org/documentation/#connect 1.Kafka Connect组件 https://docs.confluent.io/platform/
阅读全文
摘要:官方地址下载,有mac,windows和linux版本 https://www.kafkatool.com/download.html 1.查看kafka topic中的数据(支持byte,string和avro) 安装后添加kafka集群的地址,可以选择使用zk地址或者kafka的broker地址
阅读全文
摘要:参考kafka官方文档,版本1.0.x http://kafka.apache.org/10/documentation.html#consumerapi 依赖,选择 Cloudera Rel 中的 1.0.1-kafka-3.1.0 <dependency> <groupId>org.apache
阅读全文
摘要:在minikube下安装的kafka集群分成4个步骤 1.在mac上安装minikube 这里安装的minikube是基于virtualbox的,也就是minikube是运行在virtualbox启动的一个虚拟机中 参考:Mac下安装minikube 2.给zk和kafka创建local persi
阅读全文