hadoop小试
standard mode(标准模式)
下载
wget http://mirror.bit.edu.cn/apache/hadoop/common/stable/hadoop-2.7.2.tar.gz
解压到/usr/local/hadoop目录下（先创建此目录）
用root身份新建hadoop用户,并设定密码
useradd hadoop passwd hadoop
加入到root组
useradd -a -G root hadoop
设定 /usr/local/hadoop的owner
chown -R hadoop: /usr/local/hadoop
切换到hadoop用户，并编辑~/.bashrc文件，添加以下指令(/etc/profile更好）
alias hadoop="/usr/local/hadoop/bin/hadoop"
通过source ~/.bashrc使得以上修改立即生效。
体验下单词计数
mkdir input echo "aaa bbb ccc aaa" >> input/words
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount input output
(ps , 可能碰到主机名报错，无法识别的主机名等等，编辑/etc/hosts文件，添加记录 "127.0.0.1 主机名")
伪分布模式
修改/usr/local/hadoop文件夹所有者
sudo chown -R hadoop:root /usr/local/hadoop
修改.bashrc文件(/etc/profile更好），添加内容如下：
export HADOOP_HOME=/usr/local/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_INSTALL=$HADOOP_HOME
配置hadoop：
所有操作之前，设置hadoop的JAVA_HOME(/etc/profile更好， 需要单独设定hadoop/etc/hadoop/hadoop-env.sh的JAVA_HOME，很奇怪）,
export JAVA_HOME=/usr/lib/jvm/jre
1. 核心配置(core-site.xml):在这里配置hadoop实例的端口号，文件系统的内存分配，存储数据的内存大小限制，读写缓存区的大小。
vi /usr/local/hadoop/etc/hadoop/core-site.xml
在configuration节点下添加以下内容
<property>
<name>fs.default.name </name>
<value>hdfs://localhost:9000</value>
</property>
2. hdfs配置：是否多备(replication), 命名节点(namenode)的路径， 数据节点(datanode)的本地路径。
vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml
在configuration节点下添加以下内容
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hadoopinfra/hdfs/namenode </value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hadoopinfra/hdfs/datanode </value>
</property>
hadoopinfra即其下面的目录不用手工建立，格式化时会自动建立。
3. yarn配置
vi /usr/local/hadoop/etc/hadoop/yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
4. mapreduce框架配置
vi /usr/local/hadoop/etc/hadoop/mapred-site.xml
在configuration节点下添加以下内容
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
这里配置了默认的yarn作为mapreduce算法的处理对象。
应该也可配置spark。
5. 启动
a), 切换到hadoop用户，进行hdfs格式化，如下：
cd ~ hdfs namenode -format
b), 启动dfs和yarn
start-dfs.sh
...
start-yarn.sh
...
c). 查看hadoop运行情况，用浏览器打开http://localhost:50070/
d). 查看集群(cluster)的应用(applications) 用浏览器打开http://localhost:8088/
如果觉得英文阅读毫无问题，建议看这里：http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm
