spark--环境搭建--1.CentOS65集群搭建

1. 安装至少3台centos65虚拟机

2. 配置静态ip并关闭防火墙

$ vi /etc/sysconfig/network-scripts/ifcfg-eth0

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.2.100
NETMASK=255.255.255.0
GATEWAY=192.168.2.1

$ service network restart　　# 重启网卡

$ ifconfig eth0 xxx.xxx.xxx.xxx　　# (无需此步)临时更改ip为...

$ ifconfig　　# 查看当前ip

# 关闭防火墙

$ service iptables stop

$ chkconfig iptables off

$ vi /etc/selinux/config

SELINUX=disabled

$ getenforce　　# 查看防火墙状态

$ reboot　　# 最好重启一下

# 重启报错(/etc/selinux/config设置错误, 把最后一行设置为了disabled)

1. 已经重启
系统启动的时候按下 'e' 键进入grub编辑界面
选择 "kernel /vmlinuz-XXXXro root=/dev/vogroup00/logvol00 rhgb quiet" 一栏, 按 'e' 键进入编辑
在 rhgb quiet 后增加 enforcing=0 回车
按 'b' 键继续引导
2. 未重启或按上述方法重启后
root账户下
$ vi /etc/grub.conf
在倒数第二行 rhgb quiet 后添加 enforcing=0

# 配置dns服务器

$ vi /etc/resolv.conf

nameserver 61.139.2.69

$ ping www.baidu.com　　# 查看是否能连接外部网络

3. 修改hosts文件

$ vi /etc/hosts

192.168.2.100 spark1
192.168.2.101 spark2
192.168.2.102 spark3

4. yum配置

$ cd /etc/yum.repos.d/
$ rm -rf *　　# 清空此目录
$ cp /???/CentOS6-Base-163.repo ./　　# 自己下载此文件并将其拷贝到此目录
$ vi CentOS6-Base-163.repo
将所有gpgcheck属性修改为0

$ yum clean all
$ yum makecache
$ yum install telnet

5. java环境配置

$ rpm -ivh jdk-7u80-linux-i586.rpm　　# 自己下载对应jdk包

# 默认安装在 /usr/java/latest/ 目录下

$ vi ~/.bashrc　　# 配置环境变量

export JAVA_HOME=/usr/java/latest
export PATH=$PATH:$JAVA_HOME/bin

$ source .bashrc　　# 载入环境变量

$ java -version　　# 测试jdk是否安装成功

$ rm -f /etc/udev/rules.d/70-persistent-net.rules

6. 配置集群ssh免密码登录

# 三台机器分别执行
$ ssh-keygen -t rsa
$ cd /root/.ssh
$ cp id_rsa.pub authorized_keys
# spark1
$ ssh-copy-id -i spark2
$ ssh-copy-id -i spark3
# spark2
$ ssh-copy-id -i spark1
$ ssh-copy-id -i spark3
# spark3
$ ssh-copy-id -i spark1
$ ssh-copy-id -i spark2