hadoop安装

1、环境变量 /etc/profile  ——java_home \ hadoop_home

     主机IP绑定 /etc/hosts

 

2、配置SSH无密码访问

进Master主机，创建ssh-key

执行：ssh-keygen -t rsa

此时在~/.ssh文件夹下生成两个文件 id_rsa 和 id_rsa.pub

为了使master对slaver能实现免密码登录，必须拷贝master的公匙到slaver。此操作在master完成。

cd ~/.ssh

scp ./id_rsa.pub Slaver:~/.ssh/id_master.pub

ssh ~/.ssh

cd ~/.ssh

cat id_master.pub >> authorized_keys

开始是没有authorized_keys这个文件的。

 

3、hadoop配置详解

hadoop-env.sh  yarn-env.sh 配置JAVA_HOME

core-site.xml 

　　fs.defaultFS　　   NameNode URI

　　io.file.buffer.size   SequenceFiles文件中，读写缓存size设定

hdfs-site.xml

　　namenode 

　　　　dfs.namenode.name.dir

　　　　dfs.namenode.hosts

　　　　dfs.blocksize

　　　　dfs.namenode.handler.count　　设置namenode线程，处理datanode RPC请求

　　datanode

　　　　dfs.datanode.data.dir

 

4、yarn-site.xml

　　RM&NM

　　　　yarn.acl.enable　　true/false启用acl

　　　　yarn.admin.acl　　访问控制列表

　　RM

　　　　yarn.resourcemanager.address　　客户端对RM提交作业

　　　　yarn.resourcemanager.scheduler.address　　AM通过RM主机访问host:port跟踪调度程序获取资源

　　　　yarn.resourcemanager.resource-tracker.address　　NM通过RM主机访问host:port 

 

5、hadoop shell命令

hdfs dfs -ls /　　查看路径下文件（夹）信息

hdfs dfs -mkdir path　　创建文件夹

hdfs dfs -put localfile hadooppath　　上传文件

hdfs dfs -text/-cat hadoopfile　　查看文件内容