centos安装hadoop过程中遇到的其他问题
查看系统时间:date
1,安装jdk
在/usr/local/java
文件传输:http://www.cnblogs.com/xwdreamer/p/3673397.html
打开sftp:
上传文件到/usr/local/java
windows命令:在常用命令前加l,如ls变为lls,cd,变为lcd,l:local
把目录切换到指定的两个目录
window: lcd e:\
centos:/usr/local/java
put 文件名,上传put,下载get
ls 查看文件
这样就把文件上传到centos目录中去了
解压:
tar zxvf 文件名
在/etc/profile中配置:
vi /etc/proflie
在文件后面追加环境变量
export JAVA_HOME=/usr/local/java/jdk1.7.0_67
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
让/etc/profile文件修改后立即生效 ,可以使用如下命令:
# . /etc/profile
java -version查看是否成功
至此,jdk安装完毕
2,ssh免密码登陆:
*先打开ssh服务:保证安装了 http://jingyan.baidu.com/article/3ea51489f9efbf52e61bba05.html
servcie sshd status 看状态。
/etc/ssh/sshd_config配置信息
如何设置SSH服务为开机启动?
chkconfig sshd on
http://blog.csdn.net/hjskl/article/details/8809282
$ vi /etc/ssh/sshd_config
找到以下内容,并去掉注释符”#“
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
重启ssh:/sbin/service sshd restart
生成秘钥:
默认在 ~/.ssh目录生成两个文件:
id_rsa :私钥
id_rsa.pub :公钥
[root@hadoop01 ssh]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
5d:39:aa:09:cf:de:4d:1d:a4:c0:0f:f4:57:5e:0a:e6 root@hadoop01
The key's randomart image is:
+--[ RSA 2048]----+
| . o o|
| o + o +.|
| + E + .|
| . * = |
| . S o o . |
| + o . . |
| = . . |
| . . o |
| . . . |
+-----------------+
你的身份已经被保存在/根/ / id_rsa SSH。
你的公共密钥被保存在/根/ / id_rsa.pub SSH。
2.1 导入本机
Shell代码: cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
然后将hadoop01的公钥复制到hadoop02-hadoop06,用以下命令执行
ssh-copy-id -i hadoop01
ssh-copy-id -i hadoop02
ssh-copy-id -i hadoop03
ssh-copy-id -i hadoop04
ssh-copy-id -i hadoop05
ssh-copy-id -i hadoop06
上面的命令一行一行执行,先输入yes,再输入机器的密码就可以了;
现在我们来检验以一下hadoop01到hadoop05的免登陆
我们在hadoop01中无密码登录hadoop05输入:
[root@hadoop01 .ssh]# ssh hadoop05
Last login: Tue Nov 10 17:43:41 2015 from 192.168.8.1
输入exit退出
这样hadoop01就可以免密码登陆到123456;
!!!接着该设置hadoop02到hadoop01的免登陆,(未做)
我设置了hadoop01到01——06的免密码登陆和
hadoop02到01--06的免密码登陆
3、安装zookeeper(要保证myid文件是真实存在的)
在root目录下创建soft文件夹,mkdir soft
将文件上传到soft,解压
进入到conf文件下,修改切换到zookeeper目录的conf目录,修改zoo.sample.cfg为zoo.cfg
mv zoo_sample.cfg zoo.cfg
修改zoo.cfg:
dataDir=/soft/zookeeper-3.4.6/data
..
#autopurge.purgeInterval=1
server.1=192.168.8.104:2888:3888
server.2=192.168.8.105:2888:3888
server.3=192.168.8.106:2888:3888
dataDir=/soft/zookeeper-3.4.6/data
这个目录要真实存在才可以;创建data,mkdir data
接下来要在/soft/zookeeper-3.4.6/data目录中增加一个文件"myid"
vi myid(这里不要mkdir,直接vi,因为mkdir创建的是目录)
文件里面写入1,然后保存,这表示是server.1;
这里设置的hadoop01,应该设置在hadoop04;
again。。
乱码:先查看语言
[root@localhost Desktop]# env|grep LANG
LANG=zh_CN.UTF-8
不管三七二十一,运行这命令
unset LANG
在secureCRT中会话选项,字符集那里可以设置utf-8
启动zookeeper
当这些配置项配置好后,你现在就可以启动zookeeper了:
hadoop@ubuntu:~/ netstat -at|grep 2181 #查看zookeeper端口
hadoop@ubuntu:~/ netstat -nat #查看端口信息
hadoop@ubuntu:~/zookeeper-3.4.3/bin$ ./zkServer.sh start #启动
hadoop@ubuntu:~/zookeeper-3.4.3/bin$ jps #查看启动的服务名称
hadoop@ubuntu:~/zookeeper-3.4.3/bin$ ./zkServer.sh stop #关闭
查看端口是否开放:
netstat -ntpl
查看哪些端口被打开 netstat -anp
1,乱码问题在选项--会话选项--字符编码中设置为utf-8
2,myid missing问题为/root/soft/zookeeper-3.4.6和/soft/zookeeper-3.4.6不是同一个目录
设置时候直接绝对路径vi myid(这里不要mkdir,直接vi,因为mkdir创建的是目录)
现在zookeeper安装成功