配置hadoop集群服务之一-系统环境配置
1、首先配置主机名和各机器域名:
(1)Vim /etc/hostname
起名字:
机器编号
用途:(计算,sds, master)
部门:chx
集团名称.com
(2)vim /etc/hosts
每台机器都要配
作用:进行域名互通
ip+域名
10.10.67.122 haoxintest1.master.chx.com
10.10.67.123 haoxintest2.master.chx.com
10.10.67.124 haoxintest3.master.chx.com
(3)vim /etc/selinux/config
修改:SELINUX=disabled
(4)重启机器:reboot
修改端口号:
vim /etc/ssh/ssh_config
vim /etc/ssh/sshd_config
Tip:
iterm远程登陆服务器的方法:
ssh 账户名@ip地址 -p port
例子:ssh root@10.10.10.60 -p 60000
2、根用户下,创建haoxin用户:
useradd haoxin
visudo:配置spark用户的sudo权限
visudo.
配置sudo权限:
root下面配置
spark ALL=(ALL) NOPASSWD:ALL
reboot 重启一下机器,使得haoxin用户能够本机获得sudo权限;
3、vim /etc/ssh/ssh_config
vim /etc/ssh/sshd_config
修改端口等信息,保持端口统一;
4、系统环境配置/etc/profile;
配置HADOOP\Hive\Spark
JAVA_HOME=/usr/local/jdk
# HADOOP_HOME=/usr/local/cloud/hadoop
HADOOP_HOME=/data/cloud/deploy/src
CLASS_PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export JAVA_HOME HADOOP_HOME
## Hive profile set
export HIVE_HOME=/usr/local/cloud/hive
export HIVE_CONF=$HIVE_HOME/conf
export PATH=$HIVE_HOME/bin:$PATH
## Spark profile set
export SPARK_HOME=/usr/local/cloud/spark
export SPARK_CONF_DIR=$SPARK_HOME/conf
本身自带包环境配置:
/hadoop/conf/hadoop-env.sh
/spark/conf/spark-env.sh
5、服务器上原生配置的修改:
(1)本机的vimrc修改位置:~/.vimrc或者/etc/vimrc
本机的bash_profile修改位置:~/.bash_profile
(2)vimrc与bash_profile的区别:
(3)vimrc修改之后,调整的是编辑命令里面的内容;
(4)bash_profile修改之后,调整的是命令模式里面的调动命令;
(5)服务器上面下载安装pip:
wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate
总结Tip:
1、ip a查寻服务器的ip和端口号;
2、wq!是作为强制保存的命令;
3、Reboot作为机器重设置,所有的端口号和ip设置完以后,需要reboot生效;
4、known_hosts是slave登陆master做的一个密钥存储记忆;