hibench学习
hibench包含几个hadoop的负载
-
micro benchmarks
Sort:使用hadoop randomtextwriter生成数据，并对数据进行排序。
Wordcount:统计输入数据中每个单词的出现次数，输入数据使用hadoop randomtextwriter生成。
TeraSort：输入数据由hadoop teragen产生，通过key值进行排序。 -
hdfs benchmarks
增强行的dfsio：通过产生大量同时执行读写请求的任务测试hadoop机群的hdfs吞吐量 -
web search bench marks
Nutch indexing:大规模收索引擎，这个是负载测试nutch（apache的一个开源搜索引擎）的搜索子系统，使用自动生成的web数据，web数据中的连接和单词符合zipfian分布（一个单词出现的次数与它在频率表的排名成反比）
Pagerank:这个负载包含在一种在hadoop上的pagerank的算法实现，使用自动生成的web数据，web数据中的链接符合zipfian分布。（对于任意一个term其频度（frequency）的排名（rank）和frequency的乘积大致是一个常数） -
machine learning benchmarks
Mahout bayesian classification(bayes):大规模机器学习，这个负载测试mahout（apache开源机器学习库）中的naive bayesian 训练器，输入的数据是自动生成的文档，文档中的单词符合zipfian分布。
Mahout k-means clustering(kmeans):测试mahout中的k-means聚类算法，输入的数据集由基于平均分布和高斯分布的genkmeansdataset产生。 -
data analytics benchmarks
Hive query benchmarks(hivebench):包含执行的典型olap查询的hive查询（aggregation和join），使用自动生成的web数据，web数据的链接符合zipfian分布。
hibench运行流程
在github上下载hibench3.0版本并且解压
修改bin/hibench_config.sh文件的这几个参数
export JAVA_HOME=jdk地址
export HADOOP_HOME=hadoop地址
export HADOOP_EXECUTABLE=/bin/hadoop
export HADOOP_CONF_DIR=/conf
export HADOOP_EXAMPLES_JAR=/share/hadoop/mapreduce2/hadoop-mapreduce-examples-*.jar
export MAPRED_EXECUTABLE=/bin/mapred
#Set the varaible below only in YARN mode
export HADOOP_JOBCLIENT_TESTS_JAR=/share/hadoop/mapreduce2/hadoop-mapreduce-client-jobclient-*-tests.jar
多个服务一起运行
修改conf/benchmarks.lst，哪些不想运行的将之注释掉
运行bin/run-all.sh，如果在之前的步骤中没有注释，会运行所有的
多并发运行
修改conf/benchmarks-concurrent.lst文件，修改后面数字显示多少个并发数
运行bin/prepare-concurrent.sh
运行bin/run-concurrent.sh
独立运行
在相应目录下，修改conf/configure.sh文件来改变配置
运行bin/prepare.sh,（dfsioe运行bin/prepare-read.sh）准在在hdfs中input数据
运行bin/run*.sh运行相应的benchmark
注意运行hibench需要maven，如果没有，自行下载
在运行的过程中
如果提示“The XXX bin file hasn't be downloaded by maven, please check!”
请到目录“/home/perf_test/HiBench/common/hibench/XXX/”下面执行mvn install
结果在hibench.report中保存
