[经验交流] Apache Mesos Docker集群初探
前言
因工作需要，我对基于Apache Mesos 的 Docker 集群作了一点研究，并搭建了一套环境，以下是资料分享。
1. Apache Mesos概述
Apache Mesos是一款开源群集管理软件，能将数据中心中的CPU、内存、存储、其它资源全部虚拟化并进行管理(引用自百度)。它被一些人认为是继OpenStack之后的“下一代云计算平台”，“代表云计算的未来“。
根据网络资料，Apache Mesos具有高可靠性，经过严酷的生产环境考验。目前Twitter、Mac等公司在使用它。
现在Apache Mesos原生支持Docker.
2. Mesos架构分析
注：插图引用自 http://www.slideshare.net/
Master： 管理slave节点
Slave： 为集群提供资源
Framework： 从Master请求资源，在Slave上执行任务，常用的framework有marathon。当容器崩溃，它会重新创建；当一台slave当机或者docker服务停服，marathon会自动把上面的docker容器转移到其它slave上。
Zookeeper： 为集群提供一致性服务。
3. 安装Mesos Cluster
按照mesos官方文档安装Mesos + Marothon集群，安装好后简单配置即支持docker
https://open.mesosphere.com/getting-started/install/
通过yum安装很简单。
mesos管理界面：
（从任意一台master的5050端口访问）
marathon管理界面：
（从任意一台master的8080端口访问）
4.Mesos Docker集群使用初探
4.1 创建任务
可以通过marathon的ui界面创建任务，也可以用POST方式向marathon发送任务。
通过marathon的服务，我们可以限制任务的资源使用量，比如：CPU、内存、磁盘，也可以限制任务的实例个数。marathon负责资源分配、故障切换。
4.1.1 Marathon UI
4.1.2 HTTP POST
首先把任务信息写成json格式，保存成一个文件，比如：test-docker.json：
{
"id": "test-docker",
"cpus": 0.5,
"mem": 64.0,
"instances": 3,
"constraints": [["hostname", "UNIQUE"]],
"container": {
"type": "DOCKER",
"docker": {
"image": "httpd",
"privileged": true,
"network": "BRIDGE",
"parameters": [
{"key": "publish", "value": "80:80"}
]
},
"volumes": [
{
"containerPath": "/usr/local/apache2/htdocs",
"hostPath": "/var/nfsshare/htdocs",
"mode": "RO"
}
]
}
}
这个json描述的任务信息是：
任务ID：test-docker
内存用量：64M（每个实例，以下类同）
CPU用量：0.5
实例数：3
限制：每个slave只部署一个实例
容器信息：
镜像：httpd
类型：docker
privileged: true
网络：桥接
参数： 容器的80端口映射到slave的80
volumn：容器的htdocs目录挂到slave的相关目录
用curl通过POST方式向marathon端口发送任务：
curl -i -H 'Content-Type: application/json' -d@test-docker.json 172.31.17.71:8080/v2/apps
之后marathon界面就会出现任务信息：
status下面的蓝色表示创建成功，3of3表示任务中的3个实例都创建成功。
把任务点开，可以看到3个实例创建在slave1, slave2和slave3上：
分别用浏览器打开三个slave的80端口，发现httpd已经运行了：
4.2 高可用测试
1）docker容器故障切换
杀死slave1上正在运行的容器，slave4上很快创建了一个相同功能的容器
2）docker服务故障切换
关闭slave1的docker服务后，上面的任务很快会切换到slave4上
3）slave节点故障切换
关机slave4，只要集群中的slave数目足够，marathon会自动在其它slave上启动一个httpd容器
4）master节点故障切换
关闭一个master，整体功能不受影响，在其他master可以正常操作。
