willian
18702515157@163.com
摘要: 1:在每一个tomcat服务器上,生成的日志目录中,在java中用定时器每天将当天的日志上传到hadoop中 (技术要点:quatz+hadoop-client)具体的目录动态的采用时间品名 2:hadoop集群每天进行一次日志分析 阅读全文
posted @ 2016-11-24 15:24 willian_zhang 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 1:hdfs dfsadmin -report //查看集群运行状态 阅读全文
posted @ 2016-11-24 12:57 willian_zhang 阅读(121) 评论(0) 推荐(0) 编辑
摘要: 1:通过查看hadoop的临时目录,看到有fsimage和edit文件 2:fsimage时namenode的元数据内存镜像文件,edit文件时hadoop客户端的操作记录, edit_inprocess是正在写的文件 3:secondnamenode是负责将edit和fsimage文件合并成新的f 阅读全文
posted @ 2016-11-24 11:58 willian_zhang 阅读(155) 评论(1) 推荐(0) 编辑
摘要: 1:hadoop线上集群环境以搭建完毕(不会的同学可以去我的这篇博客http://blog.csdn.net/qq_30259339/article/details/51399744) 2:将安装hadoop版本中的common文件夹中的common.jar和其中lib依赖,和hdfs中的hdfs- 阅读全文
posted @ 2016-11-24 09:56 willian_zhang 阅读(177) 评论(0) 推荐(0) 编辑