用TestDFSIO进行HDFS基准测试,问题,哪位帮帮看看?
环境:20个node;2-core cpu 1G RAM 20G Harddisk
hadoop 版本0.20.2
用TestDFSIO进行HDFS基准测试
使用的命令hadoop jar ....TestDFSIO - write -nrFiles 10 -fileSize 500
运行中出现如下错误:
12/01/09 16:00:45 INFO mapred.JobClient: Task Id : attempt_201201091556_0001_m_000006_2, Status : FAILED
java.io.IOException: All datanodes 192.168.0.17:50010 are bad. Aborting...
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2556)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$1600(DFSClient.java:2102)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2265)
attempt_201201091637_0002_m_000005_0: log4j:WARN No appenders could be found for logger (org.apache.hadoop.hdfs.DFSClient).
attempt_201201091637_0002_m_000005_0: log4j:WARN Please initialize the log4j system properly.
采用过的措施:
1 将linux打开文件数由1024 改为65535, 无效;
2 在hdfs-site中增加
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
仍然无效。
如果将文件数改为1个,就不会出现上面的错误。
哪位大侠帮帮忙,分析一下。谢谢。