Spark on Mesos部署
一.Mesos的安装和部署
1.下载mesos源码和依赖包
部署环境
centOS 6.6
mesos-0.21.0
spark-1.4.1
因为mesos官方只提供源码，所以必须要自己进行编译安装使用
添加meven源
sudo wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo下载mesos和依赖
# download mesos
$ wget http://www.apache.org/dist/mesos/0.21.0/mesos-0.21.0.tar.gz
$ tar -zxf mesos-0.21.0.tar.gz
# Install other Mesos dependencies
$ sudo yum install -y apache-maven python-devel zlib-devel libcurl-devel openssl-devel cyrus-sasl-devel cyrus-sasl-md5 apr-devel subversion-devel apr-util-devel2.编译&安装
make的时间比较长
$ mkdir build
$ cd build
$ ../configure --with-python-headers=/usr/include/python2.6 --with-java-home=$JAVA_HOME --with-java-headers=$JAVA_HOME/include --with-webui --with-included-zookeeper --prefix=/usr/install/mesos
$ make
$ make install3.配置mesos
修改 / 创建 master列表文件
vim /usr/install/mesos/etc/masters
masterIP修改／创建 slave列表文件
vim /usr/install/mesos/etc/slaves
slaveIP1
slaveIP2
etc修改master配置文件
vim /usr/install/mesos/etc/mesos-master-env.sh
export MESOS_log_dir=/home/admin/mesos/logs
export MESOS_work_dir=/home/admin/mesos/work修改slave配置文件
vim /usr/install/mesos/etc/mesos-slave-env.sh
export MESOS_master=masterIP:5050
export MESOS_log_dir=/home/admin/mesos/logs
export MESOS_work_dir=/home/admin/mesos/work
export MESOS_resources="mem:8096;cpus:2"
export MESOS_hadoop_home=/usr/install/hadoop
export MESOS_switch_user=false
export MESOS_gc_delay=1days启动mesos
/usr/install/mesos/sbin/mesos-start-cluster.sh不需要配置文件的启动方式
启动master
nohup sudo -u admin /usr/install/mesos/sbin/mesos-master --log_dir=/home/admin/mesos/logs --work_dir=/home/admin/mesos/work >/dev/null 2>&1 &启动slave
nohup sudo -u admin /usr/install/mesos/sbin/mesos-slave --master=mesos://masterIP:5050 --log_dir=/home/admin/mesos/logs --work_dir=/home/admin/mesos/work --hadoop_home=/usr/install/hadoop --resources="men:100000;cpus:22" --gc_delay="1days" --switch_user="false" >/dev/null 2>&1 &tip1
启动slave时默认使用所有资源，可以使用命令–resources来限制
--resources="mem:8096;cpus:2"
当你修改slave资源分配的时候，必须要删除原来的配置信息,然后重开slave
rm -f /home/admin/mesos/work/meta/slaves/latest
tip2
启动slave时如不添加--hadoop_home参数，将会在系统的环境变量中寻找HADOOP_HOME,如果没有设置则无法从hdfs获取到framework executor包。
tip3
--gc_delay 参数控制定期删除work下的文件，你可以设置成
3days,2weeks,etc.默认是1周删除，不过当work文件夹达到一定大小，将会提前删除该目录下的文件。详细计算公式可以去看--gc_disk_headroom 参数
tip4
‘–switch_user’参数控制启动task的用户，默认为true，就是提交任务的用户，提交任务时,mesos会调用chown -R 来修改worker下executor的拥有者，权限不够就会报错。修改为false后，则使用启动slave的用户提交任务。
报错提示一般是这样的
Failed to execute chown -R 505:100 ...
web UI
可在5050端口查看mesos web UI
Mesos HA
mesos也是使用zookeeper来实现HA的,更多zookeeper的信息可以去看其他文档。
zookeeper部署
修改conf/zoo.cfg里的内容
server.1=192.168.6.55:2888:3888
server.2=192.168.6.56:2888:3888
server.3=192.168.6.57:2888:3888
在三台机器上启动zookeeper
$ZK_HOME/bin/zkServer.sh start
修改master配置文件
master的数量一般为奇数
quorum > (number of masters)/2.
在mesos-master.env.sh中添加以下参数
export MESOS_zk=zk://192.168.6.55:2181,192.168.6.56:2181,192.168.6.57:2181/mesos
export MESOS_quorum=1修改slave配置文件
将mesos-slave-env.sh中的以下参数修改
MESOS_master=zk://192.168.6.55:2181,192.168.6.56:2181,192.168.6.57:2181/mesos不需要配置文件的启动方式
启动master
nohup sudo -u admin /usr/install/mesos/sbin/mesos-master --log_dir=/home/admin/mesos/logs --work_dir=/home/admin/mesos/work --cluster=td_mesos --zk://192.168.6.55:2181,192.168.6.56:2181,192.168.6.57:2181/mesos --quorum=1 &启动slave
nohup sudo -u admin /usr/install/mesos/sbin/mesos-slave --master=zk://192.168.6.55:2181,192.168.6.56:2181,192.168.6.57:2181/mesos --log_dir=/home/admin/mesos/logs --work_dir=/home/admin/mesos/work --hadoop_home=/usr/install/hadoop --resources="men:100000;cpus:22" --gc_delay="1days" --switch_user="false" >/dev/null 2>&1 &进入192.168.6.52,显示不是leader，马上跳转回192.168.6.53
kill掉53上的master进程后，再进入52，发现变为leader，说明HA已生效。
二.Spark on mesos
将编译过的spark包上传到hdfs
hdfs dfs -put spark-1.4.1-bin-hadoop2.4.tgz /user/shiwei/在spark-env中添加
export MESOS_NATIVE_JAVA_LIBRARY=/usr/install/mesos/lib/libmesos.so
export SPARK_EXECUTOR_URI=hdfs://192.168.6.52:9000/user/shiwei/spark-1.4.1-bin-hadoop2.4.tgz同时也可在spark-default.conf中添加
spark.executor.uri hdfs://192.168.6.52:9000/user/shiwei/spark-1.4.1-bin-hadoop2.4.tgz
spark.master mesos://192.168.6.53:5050启动spark-shell
./bin spark-shellscala>val Data = sc.parallelize(1 to 100).count可以在mesos web ui 上看到任务运行情况
至此spark on mesos部署结束。
FAQ
1.`CXXABI_1.3.5’ not found
报错提示
Failed to load native Mesos library from /usr/install/mesos/lib/libmesos.so
java.lang.UnsatisfiedLinkError: /usr/install/mesos/lib/libmesos.so: /usr/lib64/libstdc++.so.6: version `CXXABI_1.3.5' not found (required by /usr/install/mesos/lib/libmesos.so)查询版本
strings /usr/lib64/libstdc++.so.6 |grep CXXABI
CXXABI_1.3
CXXABI_1.3.1
CXXABI_1.3.2
CXXABI_1.3.3升级 libstdc++.so.6 解决
2. `GLIBCXX_3.4.14’ not found
报错提示
/usr/install/mesos/sbin/mesos-master: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.14' not found (required by /usr/install/mesos/sbin/mesos-master)查看版本
strings /usr/install/mesos-0.27.2/lib/libstdc++.so.6 | grep GLIBCXX
~GLIBCXX_3.4
~GLIBCXX_3.4.1
~GLIBCXX_3.4.2
~GLIBCXX_3.4.3
~GLIBCXX_3.4.4
~GLIBCXX_3.4.5
~GLIBCXX_3.4.6
~GLIBCXX_3.4.7
~GLIBCXX_3.4.8
~GLIBCXX_3.4.9
~GLIBCXX_3.4.10
~GLIBCXX_3.4.11
~GLIBCXX_3.4.12
~GLIBCXX_3.4.13
~GLIBCXX_FORCE_NEW
~GLIBCXX_DEBUG_MESSAGE_LENGTHsudo cp /usr/install/mesos/lib/libstdc++.so.6 /usr/lib64/libstdc++.so.6
