2015年12月22日

Hive分析hadoop进程日志

摘要： 想把hadoop的进程日志导入hive表进行分析，遂做了以下的尝试。 关于hadoop进程日志的解析 使用正则表达式获取四个字段，一个是日期时间，一个是日志级别，一个是类，最后一个是详细信息， 然后在hive中建一个表，可以用来方便查询。 2015-12-18 22:23:23,357 INFO org.apache.hadoop.yarn.server.nodeman... 阅读全文

posted @ 2015-12-22 14:01 tneduts 阅读(973) 评论(0) 推荐(0) 编辑

hadoop2.3cdh5.0.2 upgrade to hadoop2.5cdh5.5.0

摘要： 两台机器，nn1,nn2搭建的ha,同时又担任nn,dn,rm,nm,jn,zkfc,zk等职能。 以下是升级回滚再升级的记录。仅供参考，同时参考了cdh官网的说明，官网主要是使用CM的。 1 官网上下载hadoop2.6cdh5.5.tar包和hadoop的rpm包 rpm2cpio hadoop.rpm | cpio –div 可以从里面找到我们需要的native的文件 。 2 ... 阅读全文

posted @ 2015-12-22 13:52 tneduts 阅读(196) 评论(0) 推荐(0) 编辑

导航