hadoop之blockreport

工作中有一套hadoop集群，该集群也作为对外的nginx服务，用来存储了大量的图片。

近期nginx访问经常出现超时访问的情况。

查看log，发现原来的report 频率为1小时一次，但是由于report 需要收集datanode 上的block使用情况，（该机的block达到上百万级别），会造成读和写的阻塞。

解决方法：

<property>
  <name>dfs.blockreport.intervalMsec</name>
  <value>86400000</value>
  <description>Determines block reporting interval in milliseconds.</description>
</property>

修改hdfs-site.xml中 blockreport 的间隔参数 。

然后重启datanode 

 ./hadoop-daemon.sh stop datanode

 ./hadoop-daemon.sh start datanode

hadoop 可能还是不适合做这种大量存储小图片的方案啊，要不然的话得做些代码级别的优化。