标签集

用TestDFSIO进行HDFS基准测试,问题,哪位帮帮看看?

环境:20个node;2-core cpu 1G RAM 20G Harddisk

hadoop 版本0.20.2

用TestDFSIO进行HDFS基准测试

使用的命令hadoop jar ....TestDFSIO - write -nrFiles 10 -fileSize 500
运行中出现如下错误:


12/01/09 16:00:45 INFO mapred.JobClient: Task Id : attempt_201201091556_0001_m_000006_2, Status : FAILED
java.io.IOException: All datanodes 192.168.0.17:50010 are bad. Aborting...
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2556)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$1600(DFSClient.java:2102)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2265)
attempt_201201091637_0002_m_000005_0: log4j:WARN No appenders could be found for logger (org.apache.hadoop.hdfs.DFSClient).
attempt_201201091637_0002_m_000005_0: log4j:WARN Please initialize the log4j system properly.

 

采用过的措施:

1 将linux打开文件数由1024 改为65535, 无效;

2 在hdfs-site中增加

<property>

  <name>dfs.datanode.max.xcievers</name>

  <value>4096</value>

 </property>

仍然无效。

如果将文件数改为1个,就不会出现上面的错误。

哪位大侠帮帮忙,分析一下。谢谢。

 

posted on 2012-01-10 15:12  宋亚奇  阅读(2278)  评论(3编辑  收藏  举报

导航