上篇hadoop配置文件目录为:/hadoop-version(2.6.4)/etc/hadoop,【之所以记录这个目录,是因为在这个集群之前,我配置过一些版本更早的集群(包括hadoop1),路径不太一样】。

hadoop启动是在sbin目录下start-all.sh(后改为start-dfs.sh  start-yarn.sh)

启动后mini1下会有进程NameNode,SecondaryNameNode,ResourceManager

mini2 3 4 下会有进程DataNode,NodeManager

其中SecondaryNameNode的配置是在hdfs-site.xml  中配置dfs.secondary.http.address  (172.16.227.3.50090)[https://blog.csdn.net/weixin_37838429/article/details/81674765]

 

hadoop集群启动后可以使用web页面检查集群  172.16.227.3:8088 (yarn)  172.16.227.3:50070(hdfs)

 

 

flume的安装比较简单,配置文件是在conf下。常见的配置比如netcat-logger.conf,

启动命令:bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

在另一个客户端启动   telnet localhost 44444[https://blog.csdn.net/zhou920786312/article/details/88630781]

 

也可以配置成sources是文件 sink是kafka 

 

posted on 2019-07-17 12:26  star_00  阅读(215)  评论(0编辑  收藏  举报