HiBench学习笔记
HiBench资源及教程：https://github.com/intel-hadoop/HiBench
介绍：
Hadoop新人
环境 linux
该笔记针对英语弱鸡&自己在使用过程用遇到的问题的记录。
步骤：
首先创建一个文件夹HiBench：mkdir HiBench
cd HiBench
git clone https://github.com/intel-hadoop/HiBench
先介绍一下我的测试集群的环境：
resourcemanager
datanode1
datanode2
datanode3
概述
HiBench是用来在速度方面评估不同的大数据框架的，它包括一系列的Hadoop，Spark，streaming工作负载，包括sort，wordcount，TeraSort, Sleep, SQL, PageRank, Nutch indexing, Bayes, Kmeans, NWeight and enhanced DFSIO,等。同样也为park Streaming, Flink, Storm and Gearpump提供工作负载。
Getting Started
- Build HiBench
- Run HadoopBench
- Run SparkBench
- Run StreamingBench (Spark streaming, Flink, Storm, Gearpump)
Build HiBench
运行mvn -Dscala=2.11 clean package 是Build All，即建立HiBench的所有模块。
可能遇到的问题：
1.bash: mvn : command not found
原因：你的系统上没有安装maven
解决方法：去官网下载
2.执行过程中出现失败
原因：可能是网络的问题吧，我也不是很清楚
解决方法：重复执行该命令，最后出现build succeed 即可。
Run HadoopBench
1.确保：
-
Python 2.x(>=2.6) is required.
-
Supported Hadoop version: Apache Hadoop 2.x, CDH5.x, HDP
-
Build HiBench according to build HiBench.
-
Start HDFS, Yarn in the cluster.
2.创建并修改配置文件hadoop.conf
在HiBench的conf下：mkdir hadoop.conf
在HiBench下: cp conf/hadoop.conf.template conf/hadoop.conf
然后修改配置文件： vim hadoop.conf
按照下图的规范：
注意：
1.hibench.hadoop.home是你本机上hadoop的安装路径
2.在配置hibench.hdfs.master的时候我傻傻地写了hdfs://localhost:8020/user/username。。。导致后来运行脚本一直不成功。
首先localhost是你的机器的IP，也可以在命令行输入hostname，用hostname来代替localhost即可。
后面的端口号也不是8020，要根据本机的端口，在命令行输入vi ~/local/hadoop-2.7.3/etc/hadoop/core-site.xml，可以观察到
hdfs://master:9000代替hdfs://localhost:8020，
username写的是你把数据存在了usr下的那个文件里
我配置完的情况是：
接下来就是在HiBench下运行脚本
bin/workloads/micro/wordcount/prepare/prepare.sh bin/workloads/micro/wordcount/hadoop/run.sh如果前面都没有问题的话，是能正常执行的。
执行完成以后，你可以在HiBench/report/hibench.report中查看 workload name, execution duration, data size, throughput per cluster, throughput per node等信息
数据规模也是可以设置的：修改conf/hibench.conf里面的hibench.scale.profile项。
未完待续。。。
