TestDFSIO基准测试HDFS

TestDFSIO用来测试HDFS的I/O性能，它通过使用MapReduce作业来完成测试作为并行读写文件的便捷方法。
以下命令写了10个文件，每个文件10MB:
hadoop jar /opt/app/hadoop-2.3.0-cdh5.1.0/share/hadoop/mapreduce/hadoopmapreduce-client-jobclient-2.3.0-cdh5.1.0-tests.jar TestDFSIO -write -nrFiles 10 - fileSize 10MB

在运行的最后，结果被写入控制台并同时以追加的形式记录在本地一个文件：

文件默认写在/benchmarks/TestDFSIO/目录下，一个叫io_data的目录中：

使用-read语句运行读取基准测试文件：

hadoop jar /opt/app/hadoop-2.3.0-cdh5.1.0/share/hadoop/mapreduce/hadoopmapreduce-client-jobclient-2.3.0-cdh5.1.0-tests.jar TestDFSIO -read -nrFiles 10 - fileSize 10MB

 

 

 

posted @ 2019-05-23 12:02  Grizabella🌸  阅读(1796)  评论(0)  编辑  收藏  举报