博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

Flume+Kafka+SparkStreaming启动命令笔记

Posted on 2018-10-17 15:01  哈哈丶大傻瓜  阅读(175)  评论(0编辑  收藏  举报

1.将日志产生程序写入crontab中:

crontab -e

#每一分钟执行一次
*/1 * * * * /home/qian/data/project/log_generator.sh

进入logs日志文件中:tail -f access.log

定时脚本添加成功

2.开启ZK:

 

zkServer.sh start

 

 

 

3.开启kafka-server:

 

kafka-server-start.sh -daemon \
/home/qian/app/kafka_2.11-0.9.0.0/config/server.properties

 

 

 

 

3.开启flume agent:

 

flume-ng agent \
 --name exec-memory-kafka \
 --conf $FLUME_HOME/conf/ \
 --conf-file ~/data/project/streaming_project2.conf \
 -Dflume.root.logger=INFO,console

 

 

 

4.开启sparkstremaing(只做了简单的计数操作):

(1)在IDEA中执行scala代码,控制台如下:

 

 

(2)在git-bash中打成jar包:

mvn clean package -DskipTests

 

(3)打包成功上传到服务器上:

 

 (4)在服务器上运行上传的jar包。