容器私有云和持续发布都要解决哪些基础问题第二集

郑昀编著创建于2015/10/30 最后更新于2015/11/20

关键词：Docker，容器，持续集成，持续发布，私有云，Jenkins，Mesos，Marathon

本文档适用人员：广义上的技术人员

提纲：

集装箱还是卷挂载？
Host Networking 还是 Bridge Networking？
容器要固定IP吗？
容器内部如何获取宿主机的IP？
容器日志如何收集？
Apache Mesos 还是 Google K8s？
如何保证 Registry 镜像Pull/Push安全？
如何保证 Marathon API 和 Docker API 调用安全？

在构建基于容器的私有云以及相应的持续发布时，还需要解决这些基础问题。延续上一篇。

0x04 容器日志如何收集？

仍采用我们惯常的 ELK 方案。即，

与开发者约定好日志文件的路径规范，日志就落在容器所在 Mesos Slave 宿主机的本地磁盘上，

日志位置的统一：/data/application/logs
日志文件名称的统一：日志类型-工程名-环境-容器Tag-主机名，这样 Logstash 就能把重要信息从文件名里抽离出来了：

应用日志位置：/data/application/logs/日志类型_${APPNAME}_${APPENV}_${APPIMGTAG}_${HOSTNAME}_%d{yyyyMMdd}.log，比如 aether 的日志位置为：/data/appliaction/logs/weberror_aether_nor_8_778283_20150819.log
trace（鹰眼）日志位置：/data/application/logs/tracing/tracing_${APPNAME}_${APPENV}_${APPIMGTAG}_${HOSTNAME}_%d{yyyyMMddhh}.log，比如 aether 的 trace 日志位置为：/data/appliaction/logs/tracing/tracing_aether_nor_8_778283_2015081912.log
针对于 ENV 采用简写的形式，取每个环境的前3个字符来指代该环境：

开发联调（dev）
常规（nor）
紧急（eme）
特殊（spe）
镜像（mir）
生产（pro）

启动 Logstash Agent 去收集日志，上传给 Logstash，
我们基于 Kibana 查询和分析日志，尤其是我们的异常日志分析与汇总。

0x05 Apache Mesos还是Google K8s？

K8s 就是 Kubernetes 的缩写。

在2014年11月～2015年1月，K8s 还需要一些未开源的部件来完成网络配置，所以我们选择了当时更成熟易用的 Mesos+Marathon。由于 K8s 作为容器编排工具可以架设在 Mesos 之上，K8s 也越来越成熟，所以后续不排除选型 Mesos+K8s。

接下来说一下调用安全。

0x06 如何保证Registry镜像Pull/Push安全？

Docker 镜像的存储和管理，对应于 Docker-Registry，它是用 Python 语言开发的。它由三个组件构成：

Docker Index

Web UI
Meta-data 元数据存储（附注、星级、公共库清单）
访问认证
token 管理

Docker Registry

存储镜像、以及镜像层的家族谱系
没有用户账户数据
不知道用户的账户和安全性
把安全和认证委托给 docker-hub 来做，用 token 来保证传递安全
不需要重新发明轮子，支持多种存储后端
没有本地数据库

后端存储

因为镜像最终是以 tar.gz 的方式静态存储在服务端
适用于对象存储而不是块存储
registry 存储驱动
官方支持的驱动有文件、亚马逊AWS S3、ceph-s3、Google gcs、OpenStack swift，glance

可以看到，Docker-Registry 缺省没有安全权限的设置，任何人都可以 pull 和 push，所以安全和认证由 Docker Index（即 Docker-Hub）处理。

但目前我们没有引入 Docker Index 角色，只是在 Docker Registry 前面架设了一层 Nginx 负责 Basic-Auth 身份认证和 SSL 加密传输，之所以如此是因为2014年10月发布的 Docker 1.3 开始强制 Basic Authentication 而且必须使用 HTTPS 访问 Registry，如下图所示：

也就是说，Jenkins 需要持有用于 Basic Auth 的用户名密码以及 SSL 证书。下面引用 larrycaiyu 的制图来说明 Nginx+Registry 的服务是如何组成的：

关于 SSL 自签名证书（Serf-signed certification），可以参考这两篇文章搭建docker-registry时使用自签名ssl证书认证问题和 Building private Docker registry with basic authentication。

0x07 如何保证Marathon API和Docker API调用安全？

我们的持续集成管理平台（Codename：Touchstone）会调用 Marathon REST API 进行容器部署工作，如下图所示。

其中，Marathon REST API 支持 Basic Auth 和 SSL，如官方文档 SSL and Basic Access Authentication 所示，所以 Touchstone 需要持有用于 Basic Auth 的用户名密码。

2014年4月，Docker 0.10 引入了 TLS auth，内置了 TLS/SSL 证书安全，这样 Docker Remote API 才不再裸奔。目前，我们在 Mesos Slave 宿主机的 Docker Daemon 配置文件 /etc/sysconfig/docker 里启用了 --tlsverify：