Docker 安全及日志管理
容器的安全性问题的根源在于容器和宿主机共享内核。如果容器里的应用导致Linux内核崩溃，那么整个系统可能都会崩溃。与虚拟机是不同的，虚拟机并没有与主机共享内核，虚拟机崩溃一般不会导致宿主机崩溃。
1.Docker 容器与虚拟机的区别
（1）隔离与共享
虚拟机通过添加 Hypervisor 层（虚拟化中间层），虚拟出网卡、内存、CPU 等虚拟硬件，再在其上建立虚拟机，每个虚拟机都有自己的系统内核。
而Docker容器则是通过namespace隔离的方式，将文件系统、进程、设备、网络等资源进行隔离，再对权限、CPU资源等进行控制，最终让容器之间互不影响，容器无法影响宿主机。
容器与宿主机共享内核、文件系统、硬件等资源。
（2）性能与损耗
与虚拟机相比，容器资源损耗要少。同样的宿主机下，能够建立容器的数量要比虚拟机多。
但是，虚拟机的安全性要比容器稍好，要从虚拟机攻破到宿主机或其他虚拟机，需要先攻破 Hypervisor 层，这是极其困难的。
而 docker 容器与宿主机共享内核、文件系统等资源，更有可能对其他容器、宿主机产生影响。
| 区别 | Docker容器 | 虚拟机 |
|---|---|---|
| 所有容器共享宿主机的内核 | 每个虚拟机都有独立的操作系统和内核 | |
| 隔离性 | 通过namespace实现资源隔离，通过cgroup实现限制资源的最大使用量 | 完全隔离。每个虚拟机都有独立的硬件资源分配 |
| 启动速度 | 秒级 | 分钟级 |
| 计算能力损耗 | 容器相当于宿主机的进程，性能几乎没有损耗 | 需要通过hypervisor虚拟机管理程序对宿主机资源虚拟访问，会有一定的性能损耗 |
| 性能 | 接近原生 | 弱于 |
| 系统支持量（单机） | 一个宿主机可以启动成百上千个容器 | 最多几十个虚拟机 |
2.Docker 存在的安全问题
（1）Docker 自身漏洞
作为一款应用 Docker 本身实现上会有代码缺陷。CVE 官方记录 Docker 历史版本共有超过 20 项漏洞，可参见 Docker 官方网站。
黑客常用的攻击手段主要有代码执行、权限提升、信息泄露、权限绕过等。目前 Docker 版本更迭非常快，Docker 用户可将 Docker 升级为最新版本。
（2）Docker 源码问题
Docker 提供了 Docker hub，可以让用户上传创建的镜像，以便其他用户下载，快速搭建环境。但同时也带来了一些安全问题。
（1）黑客上传恶意镜像
如果有黑客在制作的镜像中植入木马、后门等恶意软件，那么环境从一开始就已经不安全了，后续更没有什么安全可言。
（2）镜像使用有漏洞的软件
DockerHub上能下载的镜像里面，75%的镜像都安装了有漏洞的软件。所以下载镜像后，需要检查里面软件的版本信息，对应的版本是否存在漏洞，并及时更新打上补丁。
（3）中间人攻击篡改镜像
镜像在传输过程中可能被篡改，目前新版本的 Docker 已经提供了相应的校验机制来预防这个问题。
3.Docker 架构缺陷与安全机制
Docker本身的架构与机制就可能产生问题，例如这样一种攻击场景，黑客已经控制了宿主机上的一些容器，或者获得了通过在公有云上建立容器的方式，然后对宿主机或其他容器发起攻击。
（1）容器之间的局域网攻击
主机上的容器之间可以构成局域网，因此针对局域网的ARP欺骗、端口扫描、广播风暴等攻击方式便可以用上。
所以，在一个主机上部署多个容器需要合理的配置网络安全，比如设置 iptables 规则。
（2）DDoS 攻击耗尽资源
Cgroups 安全机制就是要防止此类攻击的，不要为单一的容器分配过多的资源即可避免此类问题。
（3）有漏洞的系统调用
Docker 与虚拟机的一个重要的区别就是 Docker 与宿主机共用一个操作系统内核。
一旦宿主内核存在可以越权或者提权漏洞，尽管Docker使用普通用户执行，在容器被入侵时，攻击者还可以利用内核漏洞跳到宿主机做更多的事情。
（4）共享root用户权限
如果以 root 用户权限运行容器（docker run --privileged），容器内的 root 用户也就拥有了宿主机的root权限。
4.Docker 安全基线标准
（1）内核级别
（1）及时更新内核。
（2）User NameSpace（容器内的 root 权限在容器之外处于非高权限状态）。
（3）Cgroups（对资源的配额和度量），设置CPU、内存、磁盘 IO等资源限制。
（4）通过启用 SELinux（控制文件访问权限）适当的强化系统来增加额外的安全性。
（5）Capability（权限划分），比如划分指定的CPU给容器。
（6）Seccomp（限定系统调用），限制不必要的系统调用。
（7）禁止将容器的命名空间与宿主机进程命名空间共享，比如 host 网络模式。
（2）主机级别
（1）为容器创建独立分区，比如创建在分布式文件系统上。
（2）仅运行必要的服务，注意尽量避免在容器中运行 ssh 服务 。
（3）禁止将宿主机上敏感目录映射到容器，-v创建数据卷时需要注意。
（4）对 Docker 守护进程、相关文件和目录进行审计，防止有病毒或木马文件生成。
（5）设置适当的默认文件描述符数。
（6）用户权限为 root 的 Docker 相关文件的访问权限应该为 644 或者更低权限。
（7）周期性检查每个主机的容器清单，并清理不必要的容器。
（3）网络级别
（1）通过 iptables 设定规则实现禁止或允许容器之间网络流量。
（2）允许 Docker 修改 iptables。
（3）禁止将 Docker 绑定到其他已使用的 IP/Port 或者 Unix Socket。
（4）禁止在容器上映射特权端口。
（5）容器上只开放所需要的端口。
（6）禁止在容器上使用 host 网络模式。
（7）若宿主机有多个网卡，将容器进入流量绑定到特定的主机网卡上。
（4）镜像级别
（1）创建本地私有镜像仓库服务器。
（2）镜像中软件都为最新版本，建议根据实际情况使用对应版本，业务稳定优先。
（3）使用可信镜像文件，并通过安全通道下载。
（4）重新构建镜像而非对容器和镜像打补丁，销毁异常容器重新构建。
（5）合理管理镜像标签，及时移除不再使用的镜像。
（6）使用镜像扫描。
（7）使用镜像签名。
（5）容器级别
（1）容器最小化，操作系统镜像最小集。
（2）容器以单一主进程的方式运行。
（3）禁止 --privileged 标记使用特权容器。
（4）禁止在容器上运行 ssh 服务，尽量使用 docker exec 进入容器。
（5）以只读的方式挂载容器的根目录系统，-v 宿主机目录:容器目录:ro。
（6）明确定义属于容器的数据盘符。
（7）通过设置 on-failure 限制容器尝试重启的次数，容器反复重启容易丢失数据，--restart=on-failure:3。
（8）限制在容器中可用的进程数，docker run -m 限制内存的使用，以防止 fork 炸弹。 （fork炸弹，迅速增长子进程，耗尽系统进程数量）.(){.|.&};.
（6）其他设置
（1）定期对宿主机系统及容器进行安全审计。
（2）使用最少资源和最低权限运行容器，此为 Docker 容器安全的核心思想。
（3）避免在同一宿主机上部署大量容器，维持在一个能够管理的数量。
（4）监控 Docker 容器的使用，性能以及其他各项指标，比如 zabbix。
（5）增加实时威胁检测和事件报警响应功能，比如 zabbix。
（6）使用中心和远程日志收集服务，比如 ELK 。
5.容器相关的常用安全配置方法
（1）容器最小化
如果仅在容器中运行必要的服务，像 SSH 等服务是不能轻易开启去连接容器的。通常使用以下方式来进入容器。
docker exec -it 容器名或容器ID sh或bash
（2）Docker 远程 API 访问控制
Docker 的远程调用API 接口存在未授权访问漏洞，至少应限制外网访问。建议使用 Socket 方式访问。
在 docker 服务配置文件指定监听内网 ip,/usr/lib/systemd/system/docker.service;重启 Docker;在宿主机的 firewalld 上做 IP 访问控制，source address 指定的是客户端地址;在客户端上实现远程授权访问
vim /usr/lib/systemd/system/docker.service
--13行--修改
ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H tcp://192.168.80.10:2375
systemctl daemon-reload
systemctl restart docker
netstat -natp | grep 2375
firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.80.15" port protocol="tcp" port="2375" accept"
firewall-cmd --reload
或
iptables -t filter -A INPUT -s 192.168.80.15 -p tcp --dport 2375 -j ACCEPT
docker -H tcp://192.168.80.10 images
6.限制流量流向
- 使用防火墙过滤器限制 Docker 容器的源 IP 地址范围与外界通讯。
firewall-cmd --permanent --zone=public --add-rich-rule="rule family="ipv4" source address="192.168.80.0/24" reject"
iptables -t filter -A INPUT -s 192.168.80.0/24 -j REJECT
- 生产环境中的大量问题是因为 Docker 容器端口外放引起的漏洞，除了操作系统账户权限控制上的问题，更在于对 Docker Daemon 的进程管理上存在隐患。
目前常用的 Docker 版本都支持 Docker Daemon 管理宿主机 iptables 的，而且一旦启动进程加上 -p host_port:guest_port 的端口映射，Docker Daemon 会直接增加对应的 FORWARD Chain 并且 -j ACCEPT，而默认的 DROP 规则是在 INPUT 链做的，对 docker 没法限制，这就留下了很严重的安全隐患。因此建议：
（1）不在有外网 ip 的机器上使用 Docker 服务。
（2）使用 k8s 等 docker 编排系统管理 Docker 容器。
（3）宿主机上 Docker daemon 启动命令加一个 --iptables=false，然后把常用 iptables 规则写进文件里，再用 iptables-restore 重定向输入去刷新规则。
7.镜像安全
一般情况下，要确保只从受信任的库中获取镜像，推荐使用 harbor 私有仓库。
如果公司使用的不是自己的镜像源，需要使用 Docker 镜像安全扫描工具 Clair，对下载的镜像进行检查。通过与 CVE 数据库同步扫描镜像，验证镜像的 md5 等特征值，确认一致后再基于镜像进一步构建。一旦发现漏洞则通知用户处理， 或者直接阻止镜像继续构建。
8.避免Docker 容器中信息泄露
近几年 Github 上大量泄露个人或企业各种账号密码，出现这种问题一般都使用 dockerfile 或者 docker-compose 文件创建容器。 如果这些文件中存在账号密码等认证信息，一旦 Docker 容器对外开放，则这些宿主机上的敏感信息也会随之泄露。
9.DockerClient 端与 DockerDaemon 的通信安全
（1）https的单项认证流程
0）服务端会事先通过CA签发服务端证书和私钥文件
1）客户端发送https请求给服务端
2）服务端会先返回一个包含公钥、证书有效期、CA机构信息等的服务端证书给客户端
3）客户端收到服务端证书后，会先用本地的CA证书校验证书的有效性，如果证书有效，则继续下一步操作，证书无效则显示告警信息
4）客户端继续发送自己可支持的对称加密方案给服务端
5）服务端会选择加密程度最高的加密方案，并通过明文方式发送给客户端
6）客户端使用选择的加密方案生成随机的会话密钥，并使用服务端证书中的公钥进行加密会话密钥，再发送给服务端
7）服务端使用私钥解密获取客户端发来的会话密钥，并使用这个会话密钥加密要返回的https响应报文给客户端
8）客户端也使用会话密钥解密返回的加密数据，获取https响应报文。之后双方继续使用这个会话密钥实现密文通信直到会话结束。
（2）https的双项认证流程
0）服务端和客户端都会事先通过CA签发证书和私钥文件
1）客户端发送https请求给服务端
2）服务端会先返回一个包含公钥、证书有效期、CA机构信息等的服务端证书给客户端
3）客户端收到服务端证书后，会先用本地的CA证书校验证书的有效性，如果证书有效，则继续下一步操作，证书无效则显示告警信息
4）客户端继续发送包含公钥的客户端证书和自己可支持的对称加密方案给服务端
5）服务端收到客户端证书后会先校验证书的有效性，通过验证后，服务端会选择加密程度最高的加密方案，并使用客户端证书中的公钥加密后发送给客户端
6）客户端使用私钥解密获取选择的加密方案，并使用选择的加密方案生成随机的会话密钥，再使用服务端证书中的公钥进行加密会话密钥，发送给服务端
7）服务端使用私钥解密获取客户端发来的会话密钥，并使用这个会话密钥加密要返回的https响应报文给客户端
8）客户端也使用会话密钥解密返回的加密数据，获取https响应报文。之后双方继续使用这个会话密钥实现密文通信直到会话结束。
（3）如何获取证书？
（1）从证书颁发机构(CA)如 Let's Encrypt、DigiCert 或云服务商购买或者申请免费证书（免费证书的有限期一般为一年以内）
（2）在本地使用 openssl、mkcert、cfssl 等工具生成自签名证书
（4）openssl创建证书的步骤
证书文件和私钥文件
1）创建CA私钥和证书
openssl genrsa -out ca.key 2048 #创建CA私钥文件（通常是 .crt 或 .pem 扩展名）
openssl req -new -x509 -days 3650 -key ca.key -out ca.pem #基于CA私钥创建CA证书文件（通常是 .key 扩展名）
2）创建服务端证书自签名请求文件
openssl genrsa -out server.key 2048 #创建服务端私钥文件
openssl req -new -key server.key -out server.csr #基于服务端私钥创建服务端证书自签名请求文件
3）创建服务端证书
openssl x509 -req -days 3650 -in server.csr -CA ca.pem -CAkey ca.key -CAcreateserial -out server.pem
#基于CA私钥、CA证书和服务端证书自签名请求文件签发服务端证书文件
-生成ca证书
（1）创建ca私钥
cd /opt/
ls
rz -E上传mkcert-v1.4.4-linux-amd64
mv mkcert-v1.4.4-linux-amd64 /usr/local/bin/mkcert
chmod +x !$
ll /usr/local/bin/
mkcert www.xlb666.com
ls
rpm -q openssl
mkdir openssl
cd openssl/
openssl genrsa -out ca.key 4096
| genrsa | 使用RSA算法产生私钥 |
| -aes256 | 使用256位密钥的AES算法对私钥进行加密，这样每次使用私钥文件都将输入密码，可省略 |
| -out | 输出文件的路径，若未指定输出文件，则为标准输出 |
| 4096 | 指定私钥长度，默认为1024。该项必须为命令行的最后一项参数 |
（2）创建ca证书
openssl req -new -x509 -days 3650 -key ca.key -out ca.pem
CN
Beijing
Beijing
xlb
xlb
www.xlb.com
admin@xlb.com
ls
| req | 执行证书签发命令 |
| -new | 新证书签发请求 |
| -x509 | 生成x509格式证书，专用于创建私有CA时使用 |
| -days | 证书的有效时长,单位是天 |
| -key | 指定私钥路径 |
| -sha256 | 证书摘要采用sha256算法 |
| -subj | 证书相关的用户信息(subject的缩写) |
| -out | 输出文件的路径 |
（3）创建服务器私钥
openssl genrsa -out server-key.pem 4096
（4）生成证书签名请求文件（csr文件）
openssl req -new -key server.key -out server.csr
CN
Beijing
Beijing
xlb666
xlb666
www.xlb666.com
admin@xlb666.com
ls
（5）使用ca 证书与私钥证书签发服务端签名证书，输入 123123，（需要签名请求文件，ca 证书，ca 密钥）
openssl x509 -req -days 3650 -in server.csr -CA ca.pem -CAkey ca.key -CAcreateserial -out server.pem
| x509 | 生成x509格式证书 |
| -req | 输入csr文件 |
| -in | 要输入的csr文件 |
| -CA | 指定ca证书的路径 |
| -CAkey | 指定ca证书的私钥路径 |
| -CAcreateserial | 表示创建证书序列号文件，创建的序列号文件默认名称为ca.srl |
（5）配置nginx支持https
1）安装时需要添加 --with-http_ssl_module 模块（启用SSL功能）
2）修改配置文件，添加ssl配置
server {
listen 443 ssl; #设置ssl访问端口为 443
server_name www.xlb666.com; #设置绑定证书的域名
ssl_certificate /etc/nginx/ssl/server.pem; #设置服务端证书文件路径
ssl_certificate_key /etc/nginx/ssl/server.key; #设置服务端私钥文件路径
#其它ssl配置参数
ssl_session_cache shared:SSL:1m; #设置ssl缓存
ssl_session_timeout 5m; #设置客户端连接可复用ssl缓存的有效时间
ssl_protocols TLSv1 TLSv1.1 TLSv1.2; #设置支持的ssl协议版本
ssl_ciphers ECDH:AESGCM:HIGH:!RC4:!DH:!MD5:!aNULL:!eNULL; #设置支持的加密套件
ssl_prefer_server_ciphers on; #设置优先使用服务端的加密套件
....
}
（6）生成客户端私钥
openssl genrsa -out client-key.pem 4096
（7）生成证书签名请求文件
openssl req -new -key client-key.pem -subj "/CN=client" -out client.csr
（8）创建扩展配置文件，使秘钥适合客户端身份验证
echo extendedKeyUsage=clientAuth > extfile.cnf
（9）使用 ca 证书签发客户端
签名证书，输入 123123，（需要签名请求文件，ca 证书，ca 密钥）
openssl x509 -req -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -extfile extfile.cnf -days 1000 -out client-cert.pem
（6）删除两个证书签名请求文件和扩展配置文件
rm -rf ca.srl client.csr extfile.cnf server.csr
//配置docker服务配置文件
vim /lib/systemd/system/docker.service
--13行--修改
ExecStart=/usr/bin/dockerd --tlsverify --tlscacert=/tls/ca.pem --tlscert=/tls/server-cert.pem --tlskey=/tls/server-key.pem -H tcp://0.0.0.0:2376 -H unix:///var/run/docker.sock
//重启docker服务
systemctl daemon-reload
systemctl restart docker
netstat -natp | grep 2376
setenforce 0
//将 /tls 目录中的 ca.pem、client-cert.pem、client-key.pem 三个文件复制到另一台主机
scp ca.pem root@192.168.80.10:/etc/docker/
scp client-cert.pem root@192.168.80.10:/etc/docker/
scp client-key.pem root@192.168.80.10:/etc/docker/
- 本地验证，使用证书访问时要用主机名连接，docker 不支持使用 IP 进行证书访问
hostnamectl set-hostname master
su
vim /etc/hosts
127.0.0.1 master
docker --tlsverify --tlscacert=ca.pem --tlscert=server-cert.pem --tlskey=server-key.pem -H tcp://master:2376 images
//在客户端上操作
hostnamectl set-hostname client
su
vim /etc/hosts
192.168.80.10 master
cd /etc/docker/
docker --tlsverify --tlscacert=ca.pem --tlscert=client-cert.pem --tlskey=client-key.pem -H tcp://master:2376 images
