随笔分类 -  kafka

摘要:public static void main(String[] args) { Properties properties = new Properties(); //kafka集群,下面的配置都可以Prodcuer properties.put(ProducerConfig.BOOTSTRAP_ 阅读全文
posted @ 2021-12-05 21:50 kpwong 阅读(267) 评论(0) 推荐(0) 编辑
摘要:POM 文件依赖: <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.10.2</version> </depend 阅读全文
posted @ 2020-12-06 10:32 kpwong 阅读(274) 评论(0) 推荐(0) 编辑
摘要:进入kafka的安装目录: 1. 查看当前服务器中所有的topic bin/kafka-topics.sh --zookeeper hadoop102:2181 --list 2. 创建topic bin/kafka-topics.sh --zookeeper hadoop102:2181--cre 阅读全文
posted @ 2020-12-05 15:26 kpwong 阅读(223) 评论(0) 推荐(0) 编辑
摘要:POM <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.10.2</version> </dependency> 阅读全文
posted @ 2020-12-05 15:16 kpwong 阅读(1686) 评论(0) 推荐(0) 编辑
摘要:1源码demo package com.kpwong.consumer; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; 阅读全文
posted @ 2020-11-28 16:57 kpwong 阅读(885) 评论(0) 推荐(0) 编辑
摘要:同步发送的意思就是,一条消息发送之后,会阻塞当前线程, 直至返回 ack。由于send方法返回的是一个 Future对象,根据 Futrue对象 的特点,我们也可以实现 同步发送的效果 ,只需在调用 Future对象的 get方法即可。 //发送数据 for(int i = 11 ;i <= 20; 阅读全文
posted @ 2020-11-28 16:22 kpwong 阅读(1610) 评论(0) 推荐(0) 编辑
摘要:1:POM文件 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency> 2:自定义分区 pack 阅读全文
posted @ 2020-11-28 16:09 kpwong 阅读(495) 评论(0) 推荐(0) 编辑
摘要:添加POM文件 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency> API生产者(注意:to 阅读全文
posted @ 2020-11-28 14:13 kpwong 阅读(319) 评论(0) 推荐(0) 编辑
摘要:1)配置flume(flume-kafka.conf) # define a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sources.r1.type = exec a1.sources.r1.command = tail -F 阅读全文
posted @ 2020-11-25 09:04 kpwong 阅读(155) 评论(0) 推荐(0) 编辑
摘要:案例: 自定义两个Producer 连接器,一个在消息上添加时间戳,一个统计消息成功失败个数(当然这两个拦截器可以写在一块,我们现在分两个拦截器来实现)。 1:Pom文件 添加如下代码.(slf4j 依赖 是为了去编译警告的。可以不加) <dependencies> <!-- https://mvn 阅读全文
posted @ 2020-10-08 10:38 kpwong 阅读(266) 评论(0) 推荐(0) 编辑
摘要:1: 在 /usr/local/bin 目录下touch xkafka.sh 2 : chmod 777 xkafka.sh 3 :编辑文件 #!/bin/bash #判断用户是否传参 if [ $# -ne 1 ];then echo "无效参数,用法为: $0 {start|stop}" exi 阅读全文
posted @ 2020-10-04 23:50 kpwong 阅读(678) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示