2013年7月25日

hadoop日志【3】---进度不动的reduce过程

摘要： 集群的slave由于意外原因在运行过程中突然关机过两台结果这两台存放hadoop日志的路径权限竟然全部变成root的，hadoop无法保存日志，异常不断修改了文件权限，然后重新跑任务结果跑到20%的时候又不动了根据经验，要吗是slave中的防火墙把hdfs的端口给堵了造成文件无法在slave间复制，要吗就是又是日志保存出问题，导致无法正常生成task查看了一下负责reduce的机器日志，报的全是No route to host的错误，看了一下，果然是防火墙堵端口了不知道什么时间防火墙又全部打开了关掉防火墙重试jobok了在比较早的时间还犯过一个错误，host文件里的ip写错了，结果发现redu 阅读全文

posted @ 2013-07-25 18:27 AI001 阅读(247) 评论(0) 推荐(0) 编辑

ganglia监控hadoop集群

摘要： 使用ganglia监控hadoop比较简单修改hadoop的配置文件为：conf/hadoop-metrics2.properties。依据安装的Ganglia版本找到配置文件中对应版本控制，将需要监控的项目前面注释去掉，*.servers的配置为239.2.11.71：8649,这个地址是Ganglia的广播地址，是固定的。ganglia为3.1# for Ganglia 3.1 support *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 *.sink.ganglia.period=1. 阅读全文

posted @ 2013-07-25 11:48 AI001 阅读(261) 评论(0) 推荐(0) 编辑

ganglia简单认证

摘要： 创建用户认证文件htpasswd -c /etc/httpd/conf.d/passwords 用户名创建文件.htaccess在路径/usr/share/ganglia下内容：AuthType Basic AuthName "Restricted Files" AuthUserFile /etc/httpd/conf.d/passwords Require user 用户名修改/etc/httpd/conf/httpd.conf中的内容 Options FollowSymLinks AllowOverride None 为 Opt... 阅读全文

posted @ 2013-07-25 06:25 AI001 阅读(196) 评论(0) 推荐(0) 编辑

导航