摘要: 1源码demo package com.kpwong.consumer; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; 阅读全文
posted @ 2020-11-28 16:57 kpwong 阅读(878) 评论(0) 推荐(0) 编辑
摘要: 同步发送的意思就是,一条消息发送之后,会阻塞当前线程, 直至返回 ack。由于send方法返回的是一个 Future对象,根据 Futrue对象 的特点,我们也可以实现 同步发送的效果 ,只需在调用 Future对象的 get方法即可。 //发送数据 for(int i = 11 ;i <= 20; 阅读全文
posted @ 2020-11-28 16:22 kpwong 阅读(1572) 评论(0) 推荐(0) 编辑
摘要: 1:POM文件 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency> 2:自定义分区 pack 阅读全文
posted @ 2020-11-28 16:09 kpwong 阅读(492) 评论(0) 推荐(0) 编辑
摘要: 添加POM文件 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency> API生产者(注意:to 阅读全文
posted @ 2020-11-28 14:13 kpwong 阅读(319) 评论(0) 推荐(0) 编辑
摘要: import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api 阅读全文
posted @ 2020-11-25 14:56 kpwong 阅读(588) 评论(0) 推荐(0) 编辑
摘要: 1)配置flume(flume-kafka.conf) # define a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sources.r1.type = exec a1.sources.r1.command = tail -F 阅读全文
posted @ 2020-11-25 09:04 kpwong 阅读(153) 评论(0) 推荐(0) 编辑
摘要: package com.kpwong.structure.streaming import org.apache.spark.sql.streaming.Trigger import org.apache.spark.sql.{DataFrame, SparkSession} import org. 阅读全文
posted @ 2020-11-10 13:55 kpwong 阅读(315) 评论(0) 推荐(0) 编辑
摘要: 1:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.0/ 下载Hadoop安装包到本地并解压 2: https://github.com/srccodes/hadoop-common-2.2.0-bin 下载这包. 3: 将步骤2下载的bi 阅读全文
posted @ 2020-11-10 11:39 kpwong 阅读(343) 评论(0) 推荐(0) 编辑
摘要: 本脚本实现一个简单的三台机器分布式集群环境下的Hadoop一键启动。 1:在目录 /usr/local/bin下 touch xhp.sh 2: chmod 777 xhp.sh 3: 编辑 xhp.sh ZK:Zookeeper ZKFC:Zookeeper FailoverController 阅读全文
posted @ 2020-11-07 12:54 kpwong 阅读(646) 评论(0) 推荐(1) 编辑
摘要: 1:在目录 /usr/local/bin下 touch xjn.sh 2: chmod 777 xjn.sh 3: 编辑 xjn.sh #判断用户是否传参 if [ $# -ne 1 ];then echo "无效参数,用法为: $0 {start|stop}" exit fi #获取用户输入的命令 阅读全文
posted @ 2020-11-07 11:02 kpwong 阅读(668) 评论(0) 推荐(0) 编辑