Hadoop组成
包括两个核心组成：
HDFS：分布式文件系统，存储海量的数据
MapReduce：并行处理框架，实现任务分解和调度
搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务
（搜索引擎、日志分析、商业智能、数据挖掘）
安装Java JDK
1,进入Sshell，检测是否安装java
2，选择安装openjdk-7-jdk
3,进入环境变量修改页面，vi /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/ export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=$JAVA_HOME/lib/:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
保存退出，并设置生效source /etc/profile
Hadoop安装
下载地址，完成解压缩tar -zxvf
1，进入conf文件夹，查看JAVA_HOME位置echo $JAVA_HOME
2，进入配置页面vi hadoop.env.sh，
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
保存退出。
3，配置core-site.xml文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://ubuntu:9000</value> #ubuntu为主机名，通过hostname命令查找
</property>
</configuration>
配置hdfs-site.xml文件
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
</configuration>
配置mapred-site.xml文件
<property> <name>mapred.job.tracker</name> <value>ubuntu:9001</value> </property>
4，配置Hadoop环境变量
进入/etc/profile，添加
export HADOOP_HOME=/opt/hadoop-1.2.1 export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
设置生效source /etc/profile
5，格式化操作
进入bin目录，hadoop namenode -format
运行start-all.sh，
查看运行内容jps
设置ssh无密码登陆
1，cd ~/.ssh（进入ssh文件夹）
2，ssh-keygen -t rsa（生成rsa密钥）
3，cp id_rsa.pub authorized_keys（复制公钥并改名为authorized_keys）
4，ssh localhost（无密码登陆主机）
