Docker与Ceph的分与合
前言
docker是一个管理工具，在操作系统之上提供了一个新的独立轻环境，好处是本地提供了一个基础镜像，然后基于镜像再运行环境，也可以把环境重新打包为镜像，管理起来类似于git，感觉非常的方便，并且能够做到一处提交，处处可以取到相同的环境，大大的减少了因为环境偏差造成的系统不稳定
目前有不少生成环境已经把ceph和docker结合在一起运行了，这个有的是确实能够理解docker的好处，也能够有技术力量去进行维护，这个地方相当于两套系统了，并且关于技术的传递也增加了难度，特别是一套系统是docker+ceph的环境，并且又出现相关人员离职的情况，新来的人如果不是技术很熟，之前的技术文档没有记录很全的话，再去运维这一套系统还是比较有难度的
本篇目的是记录一下docker与ceph的结合的方式，关于ceph和docker的分与合，只有做到能剥离的系统，才不会因为技术原因受限
实践
配置docker的基础环境
拉取基础镜像
这个是拉取的灵雀云的docker仓库的centos
docker pull index.alauda.cn/library/centos
启动docker进程,并且设置自启动
systemctl start docker
systemctl enable docker
查询当前机器上面的镜像
[root@lab8106 ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
index.alauda.cn/library/centos latest 904d6c400333 4 months ago 196.7 MB
我们先对我们的镜像做一些基本的设置
docker run -itd --name=cephbase --net=host --pid=host index.alauda.cn/library/centos /bin/bash
[root@lab8106 ~]# docker attach cephbase
[root@lab8106 /]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/docker-8:2-83216-dd340d1f6a68b6849b9500c4e6f9b7fb1901c3c0cb1ce0d7336f5104a1ef4a10 10G 240M 9.8G 3% /
tmpfs 24G 0 24G 0% /dev
tmpfs 24G 0 24G 0% /sys/fs/cgroup
/dev/sda2 50G 31G 20G 62% /etc/hosts
shm
可以看到我们已经进入了容器内部了，下面需要做的事情，就是将ceph运行需要的一些软件装上去
[root@lab8106 /]# yum makecache
[root@lab8106 /]# yum install wget --nogpgcheck
[root@lab8106 /]# rm -rf /etc/yum.repos.d/*.repo
[root@lab8106 /]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
[root@lab8106 /]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
[root@lab8106 /]# sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo
[root@lab8106 /]# sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo
[root@lab8106 /]# sed -i 's/$releasever/7.2.1511/g' /etc/yum.repos.d/CentOS-Base.repo
[root@lab8106 /]# vi /etc/yum.repos.d/ceph.repo
[root@lab8106 /]# yum makecache
[root@lab8106 /]# yum install ceph ceph-deploy
检查软件版本装对了没
[root@lab8106 /]# ceph -v
ceph version 10.2.3 (ecc23778eb545d8dd55e2e4735b53cc93f92e65b)
[root@lab8106 /]# ceph-deploy --version
1.5.36
可以退出了
exit
查看之前的容器的ID
[root@lab8106 ~]# docker ps -l
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
48420c9955b5 index.alauda.cn/library/centos "/bin/bash" About an hour ago Exited (0) 14 seconds ago cephbase
将容器保存为一个新的镜像，cephbase
[root@lab8106 ~]# docker commit 48420c9955b5 cephbase
sha256:ffe236ee2bb61d2809bf1f4c03596f83b9c0e8a6fc2eb9013a81abb25be833e9
查看当前的镜像
[root@lab8106 ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
cephbase latest ffe236ee2bb6 About a minute ago 1.39 GB
基础镜像就完成，包括了ceph运行需要的软件
我们来创建mon的容器
docker run --privileged -itd --name=monnode --net=host -v /var/log/ceph:/var/log/ceph -v /var/run/ceph:/var/run/ceph -v /var/lib/ceph/:/var/lib/ceph/ -v /etc/ceph:/etc/ceph -v /sys/fs/cgroup:/sys/fs/cgroup ceph /sbin/init
进入到容器当中去
[root@lab8106 ~]# docker exec -it monnode /bin/bash
在容器当中执行
[root@lab8106 deploy]# ceph-deploy mon create lab8106
我们来创建osd的容器
docker run --privileged -itd --name=osd0 --net=host -v /var/log/ceph:/var/log/ceph -v /var/run/ceph:/var/run/ceph -v /var/lib/ceph/:/var/lib/ceph/ -v /etc/ceph:/etc/ceph -v /var/lib/ceph/osd/ceph-0:/var/lib/ceph/osd/ceph-0 -v /sys/fs/cgroup:/sys/fs/cgroup ceph /sbin/init
我们将网络映射到主机上，也就是容器和主机公用网络和主机名，然后把本地的一个数据盘的目录映射进去用于osd的部署，这里都是使用-v进行映射
这个地方因为是centos7，所以systemctl内部是无法使用的，而ceph是需要这个来控制服务的，所以需要提权，并且把入口改为/sbin/init
回顾流程
- 下载centos基础镜像
- 修改镜像的内容并提交为新的镜像
- 基于新的镜像启动容器（采用host映射，目录映射，所有数据都是留在物理机）
- 进入容器进行ceph的部署
- 进入容器启动相关进程
这样ceph是运行到了docker中，即使把docker容器销毁掉，因为基于主机名和网络的配置跟宿主机是一致的，所以直接在宿主机上也是能马上启动起来的
为何用容器
基于容器的技术是最近几年开始火起来的，目前的云计算还处于火热期，openstack还是显得比较重型的，很多时候我们只需要的是一个能够运行我们web服务的环境，然后容器技术就应运而生了，直接启动一个容器，就能实现，这个对于宿主机来说方便的只是启动一个进程那么简单
对于庞大复杂的服务来说，如何做到环境一致也是一直很难做到的，一排物理机，因为各种各样的原因，升级，重装系统，很难保证整套系统基础环境的一致性，而基于docker的环境就能很方便的实现这个，相当于把整个运行环境打了一个包，所有的宿主机能够很方便的统一到相同的环境，即使重装了宿主机，也能方便的用一两条命令将环境部署到统一，比如上面所说的ceph，升级了基础镜像内的软件包，然后将所有的运行进程进行一次重启，就相当于运行了一个新的环境
容器还能够做的事情就是能够很便捷的把一个复杂环境运行起来，特别对于web类的服务，一台机器上可以跑一排的对外服务，即使出了问题，也能很快的再运行起来，这个对于传统的环境来说就是很难实现的，这里讲一下calamari，这个监控系统不是很复杂，但是因为依赖的软件的问题，造成很多人无法正常运行起来，这个后面我会出一个集成好calamari的docker环境，实现一键运行
在低版本的os上能够运行高版本的服务，比如在centos6上运行centos7的docker环境
总结
本篇的文章的标题为docker与ceph的分与合，一套系统除了自身需要稳定性以外，系统自身最好不要受制于其他系统，需要在设计初期就能保证，各个模块都能轻松的剥离，否则很容易受制于另外一套系统，所以基于上面的方案来说，docker和ceph既是合在一起的，也是分开的,本篇只是讲了一个框架，实际部署ceph的过程当中还是有一些小问题需要具体处理的，不是很难，权限问题，目录问题
变更记录
| Why | Who | When |
|---|---|---|
| 创建 | 武汉-运维-磨渣 | 2016-10-19 |
附录：
docker的常用操作
查询镜像
[root@lab8106 ~]# docker images
查询容器
[root@lab8106 ~]# docker ps
[root@lab8106 ~]# docker ps -l
删除容器
[root@lab8106 ~]# docker rm 64f617dfada5
删除镜像
[root@lab8106 ~]# docker rmi node
进入容器内部
[root@lab8106 ~]# docker exec -it monnode /bin/bash
让容器执行命令
[root@lab8106 ~]# docker exec monnode uptime
退出容器,不停止容器
ctrl+p然后ctrl+q
