随笔分类 - kafka
摘要:public static void main(String[] args) { Properties properties = new Properties(); //kafka集群,下面的配置都可以Prodcuer properties.put(ProducerConfig.BOOTSTRAP_
阅读全文
摘要:POM 文件依赖: <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.10.2</version> </depend
阅读全文
摘要:进入kafka的安装目录: 1. 查看当前服务器中所有的topic bin/kafka-topics.sh --zookeeper hadoop102:2181 --list 2. 创建topic bin/kafka-topics.sh --zookeeper hadoop102:2181--cre
阅读全文
摘要:POM <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.10.2</version> </dependency>
阅读全文
摘要:1源码demo package com.kpwong.consumer; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord;
阅读全文
摘要:同步发送的意思就是,一条消息发送之后,会阻塞当前线程, 直至返回 ack。由于send方法返回的是一个 Future对象,根据 Futrue对象 的特点,我们也可以实现 同步发送的效果 ,只需在调用 Future对象的 get方法即可。 //发送数据 for(int i = 11 ;i <= 20;
阅读全文
摘要:1:POM文件 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency> 2:自定义分区 pack
阅读全文
摘要:添加POM文件 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency> API生产者(注意:to
阅读全文
摘要:1)配置flume(flume-kafka.conf) # define a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sources.r1.type = exec a1.sources.r1.command = tail -F
阅读全文
摘要:案例: 自定义两个Producer 连接器,一个在消息上添加时间戳,一个统计消息成功失败个数(当然这两个拦截器可以写在一块,我们现在分两个拦截器来实现)。 1:Pom文件 添加如下代码.(slf4j 依赖 是为了去编译警告的。可以不加) <dependencies> <!-- https://mvn
阅读全文
摘要:1: 在 /usr/local/bin 目录下touch xkafka.sh 2 : chmod 777 xkafka.sh 3 :编辑文件 #!/bin/bash #判断用户是否传参 if [ $# -ne 1 ];then echo "无效参数,用法为: $0 {start|stop}" exi
阅读全文