基于zookeeper+mesos+marathon的docker集群管理平台
· 介绍
mesos是什么？
Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核。Mesos能够在同样的集群机器上运行多种分布式系统类型，更加动态有效率低共享资源。提供失败侦测，任务发布，任务跟踪，任务监控，低层次资源管理和细粒度的资源共享，可以扩展伸缩到数千个节点。Mesos已经被Twitter用来管理它们的数据中心。
Mesos中的基本术语解释：
1）Mesos-master：主要负责管理各个framework和slave，并将slave上的资源分配给各个framework
2）Mesos-slave：负责管理本节点上的各个mesos-task，比如：为各个executor分配资源
3）Framework：计算框架，如：Hadoop，Spark等，通过MesosSchedulerDiver接入Mesos
4）Executor：执行器，安装到mesos-slave上，用于启动计算框架中的task。
Zookeeper是什么？
ZooKeeper是用来给集群服务维护配置信息，域名服务，提供分布式同步和提供组服务。所有这些类型的服务都使用某种形式的分布式应用程序。ZooKeeper是一个分布式的，开放源码的协调服务，是的Chubby一个的实现，是Hadoop和Hbase的重要组件。
ZooKeeper角色：
领导者（leader）：领导者负责投票发起和决议，更新系统状态
跟随者（follwoer）：follower用于接收客户请求并向客户端返回结果，在选主过程中参与投票
观察者：ObServer可以接受客户端连接，将写请求转发给leader节点，但ObServer不参加投票过程，只同步leader的状态，ObServer的目的是为了拓展系统，提高读取速度。
客户端：请求发起方
ZooKeeper同步流程：
选完leader以后，zookeeper就进入状态同步过程。
1）leader等待server连接；
2）Follower连接leader，将最大的zxid发送给leader；
3）Leader根据follower的zxid确定同步点；
4）完成同步后通知follower 已经成为uptodate状态；
5）Follower收到uptodate消息后，又可以重新接受client的请求进行服务了。
mararthon是什么？
Marathon是一个成熟的，轻量级的，扩展性很强的Apache Mesos的容器编排框架，它主要用来调度和运行常驻服务（long-running service），提供了友好的界面和Rest API来创建和管理应用。marathon是一个mesos框架，能够支持运行长服务，比如web应用等，它是集群的分布式Init.d，能够原样运行任何Linux二进制发布版本，如Tomcat Play等等，可以集群的多进程管理。也是一种私有的Pass，实现服务的发现，为部署提供提供REST API服务，有授权和SSL、配置约束，通过HAProxy实现服务发现和负载平衡。
1.环境部署(因为配置有限，此操作使用了2台虚拟机)
|
IP |
描述 |
|
192.168.253.55 |
Mesos-master mesos-slave marathon docker |
|
192.168.253.55 |
Zookeeper mesos-slave docker |
|
备注：Zookeeper使用伪分布式部署，也就是一台虚拟机上启动三个不同端口的Zookeeper实例 |
|
基本框架
1.1同步时间
yum -y install ntp ntpdate
ntpdate cn.pool.ntp.org
hwclock --systohc
1.2关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
1.3关闭selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
1.4创建工作目录
mkdir /data
2. 官网地址
Mesos:http://mesos.apache.org/
Marathon:https://mesosphere.github.io/marathon/
3.jdk安装(三个节点都要执行)
3.1解压jdk1.8
tar zxf jdk-8u161-linux-x64.tar.gz -C /data/ cd /data mv jdk1.8.0_161/ jdk`
3.2配置环境变量
vim /etc/profile
export JAVA_HOME=/data/jdk
export JRE_HOME=/data/jdk/jre
export PATH=$PATH:/data/jdk/bin
export CLASSPATH=./:/data/jdk/lib:/data/jdk/jre/lib
source /etc/profile`
3.3测试是否成功
4. 安装zookeeper(192.168.253.56)
4.1解压
tar xzf apache-zookeeper-3.6.1-bin.tar.gz -C /data
cd /data
mv apache-zookeeper-3.6.1-bin zookeeper
4.2修改配置文件
cd /data/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
[root@localhost conf]# vim zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
maxClientCnxns=200
dataDir=/data/zookeeper/data/zk1
clientPort=2181
server.1=192.168.253.56:3181:4181
server.2=192.168.253.56:3182:4182
server.3=192.168.253.56:3183:4183
4.3创建三个目录存放zookeeper数据
mkdir -p /data/zookeeper/data/{zk1,zk2,zk3}
4.4 创建myid文件
echo 1 >/data/zookeeper/data/zk1/myid
echo 2 >/data/zookeeper/data/zk2/myid
echo 3 >/data/zookeeper/data/zk3/myid
4.5 生成三份zookeeper配置文件
cd /data/zookeeper/conf/
cp zoo.cfg zk1.cfg
cp zoo.cfg zk2.cfg
cp zoo.cfg zk3.cfg
4.6 修改zk2,zk3对应的数据存放目录以及端口
sed -i 's#zk1#zk2#g' zk2.cfg #修改数据存放目录
sed -i 's#zk1#zk3#g' zk3.cfg
sed -i 's#2181#2182#g' zk2.cfg #修改客户端端口
sed -i 's#2181#2183#g' zk3.cfg
4.7 zookeeper角色查看
4.7.1 启动zookeeper
/data/zookeeper/bin/zkServer.sh start /data/zookeeper/conf/zk1.cfg
/data/zookeeper/bin/zkServer.sh start /data/zookeeper/conf/zk2.cfg
/data/zookeeper/bin/zkServer.sh start /data/zookeeper/conf/zk3.cfg
4.7.2 查看集群状态
/data/zookeeper/bin/zkServer.sh status /data/zookeeper/conf/zk1.cfg
/data/zookeeper/bin/zkServer.sh status /data/zookeeper/conf/zk2.cfg
/data/zookeeper/bin/zkServer.sh status /data/zookeeper/conf/zk3.cfg
5. mesos集群部署
192.168.253.55,192.168.253.56
5.1 安装mesos
yum install mesos-1.9.0-2.0.1.el7.x86_64.rpm -y
5.2 增添zookeeper配置
cd /etc/mesos
vim zk
zk://192.168.253.56:2181,192.168.253.56:2182,192.168.253.56:2183/mesos
5.3 192.168.253.55
5.3.1 mesos-master配置
cd /etc/mesos-master
echo 192.168.253.55 > ip
echo 192.168.253.55 > hostname
echo 1 > quorum #这个数字要大于安装的master节点的总数的一半
work_dir为默认
5.3.2 mesos-slave配置
cd /etc/mesos-slave/
echo 192.168.253.55 > ip
echo 192.168.253.55 > hostname
work_dir为默认
5.3.3 安装marathon
tar zxf marathon-1.5.1.tgz
mv marathon-1.5.0-96-gf84298d/ /data/marathon
5.3.4 启动mesos-master mesos-slave marathon
systemctl start mesos-master mesos-slave
systemctl enable mesos-master mesos-slave #设为开机自启
/data/marathon/bin/marathon --master zk://192.168.253.56:2181,192.168.253.56:2182,192.168.253.56:2183/mesos --zk zk://192.168.253.56:2181,192.168.253.56:2182,192.168.253.56:2183/marathon
5.3.5 浏览器访问
Mesos
Marathon
5.4 192.168.253.56
5.4.1 mesos-slave配置
cd /etc/mesos-slave/
echo 192.168.253.56 > ip
echo 192.168.253.56 > hostname
work_dir为默认
5.4.2 启动mesos-slave
systemctl start mesos-slave
systemctl enable mesos-slave
6. marathon调用mesos运行docker(192.168.253.55,192.168.253.56)
6.1 解压docker
tar zxf docker-18.06.3-ce.tgz
mv docker /data
6.2 把命令拷贝到/usr/bin
cd /data/docker
cp ./* /usr/bin
6.3 创建docker家目录
mkdir /home/docker
6.4 启动docker
dockerd -g /home/docker &
6.5 查看进程
ps -ef |grep docker
6.6 拉取nginx
docker pull nginx
6.7 在mesos-slave上增加配置参数，并重启
echo 'docker,mesos' | tee /etc/mesos-slave/containerizers
systemctl restart mesos-slave
7. 测试
7.1 运行mesos任务，可以在web界面上查看task:
MASTER=$(mesos-resolve `cat /etc/mesos/zk`)
mesos-execute --master=$MASTER --name="cluster-test" --command="sleep 60"
7.2 marathon测试
浏览器输入：http://192.168.253.55:8080/
创建一个first的任务
然后去mesos网页查看：http://192.168.253.55:5050/
可以看到任务已经分配给slave1(192.168.253.55) 和slave2(192.168.253.56)
点击
7.2.1 查看执行时间相关信息
Id根据实际情况查看
cd /var/lib/mesos/slaves/167b7f7c-1441-4755-ab15-ee6c33486c98-S0/frameworks/c3d564b2-6b6b-4468-b467-b413f61b9180-0001/executors
cd first.2e24d54e-cb1c-11ea-abb0-0242467fbcb0/runs/latest/
#标准错误和标准输出信息
stderr
#查看输出字符串
stdout
7.3 marathon通过API创建一个nginx的docker容器
下面通过Mesos调度，使用marathon来创建一个nginx镜像的Docker容器,Marathon启动时会读取/etc/mesos/zk配置文件，Marathon通过Zookeeper来找到Mesos Master。
#在marathon服务所在节点创建json文件；
7.3.1 写json文件
vim nginx.json
{ "id":"nginx-first", #容器名，只在marathon生效 "cpus":0.2, #cpu用量 "mem":20.0, #mem用量 "instances": 1, #容器数量 "constraints": [["hostname", "UNIQUE",""]], #限制 "container": { "type":"DOCKER", #应用类型 "docker": { #docker具体配置 "image": "nginx", #采用的image "network": "BRIDGE", #网络模式 "portMappings": [ {"containerPort": 80, "hostPort": 0,"servicePort": 0, "protocol": "tcp" } ]}#端口映射，”0”表示任意端口，"servicePort"服务端口 } }
7.3.2 curl方式调用
curl -X POST http://192.168.253.55:8080/v2/apps -d @/root/nginx.json -H "Content-type: application/json"
7.3.3 查看容器是否存在(此处有一个容器就证明成功，我这里执行了两遍curl,所以出现两个容器)
192.168.253.55
192.168.253.56
访问页面：
