docker的安全管理与TLS/LLS加密通信

Docker 安全与日志管理

目录

• 一：Docker 容器与虚拟机的区别
  • 1.1 容器的安全性问题
  • 1.2 隔离与共享
  • 1.3 性能与损耗
• 二：Docker 存在的安全问题
  • 2.1 Docker 自身漏洞
  • 2.2 Docker 源码问题
• 三： Docker 架构缺陷与安全机制
  • 3.1 容器之间的局域网攻击
  • 3.2 DDos攻击耗尽资源
  • 3.3 有漏洞的系统调用
  • 3.4 共享root用户权限
• 四： Docker 安全基准线标准
  • 4.1 内核级别
  • 4.2 主机级别
  • 4.3网络级别
  • 4.4 镜像级别
  • 4.5 容器级别
  • 4.6 其他设置
• 五： 容器相关的常用安全配置
  • 5.1 容器最小化
  • 5.2 Docker远程的API访问控制
    • 在docker 服务配置文件中指定监听内网IP
    • 重启docker
    • 在宿主机的firewalld上做ip访问控制。source address 指定客户端地址
    • 在客户端实现远程授权访问
• 六： 限制流量流向
• 七 镜像安全
• 八： DockerClient 端与DockerDaemon 的通信安全
  • 8.1 SSL/TLS的通信过程
  • 8.2 创建ca证书过程
  • 8.3创建目录，生成ca证书
    • 8.3.1 创建目录，生成私钥文件
    • 8.3.2 创建ca证书
  • 8.4  用ca证书签发server端证书 
  • 8.5用ca 证书签发client端证书
  • 8.6 配置docker服务配置文件，重启docker
  • 8.7 复制ca证书和客户端私钥，客户端签名证书到客户端主机，并修改服务端主机名，做hosts映射
  • 8.8客户端远程访问
• 九：避免Docker 容器中信息泄露  

一：Docker 容器与虚拟机的区别

1.1 容器的安全性问题

容器的安全性问题的根源在于容器和宿主机共享内核。如果容器里的应用导致ELinux内核崩溃，那么整个系统可能都会崩溃。与虚拟机是不同的，虚拟机并没有与主机共享内核，虚拟机崩溃一般不会导致宿主机崩溃。

1.2 隔离与共享

虚拟机通过添加Hypervisor层(虚拟化中间层)，虚拟出网卡、内存、cpu等虚拟硬件，再在其上建立虚拟机，每个虚拟机都有自己的系统内核。虚拟机通过Hypervisor进行隔离

而Docker容器则是通过隔离的方式，将文件系统、进程、设备、网络等资源进行隔离，再对权限、cpu资源等进行控制，最终让容器之间互不影响,容器无法影响宿主机。Docker 通过Namespace进行隔离

容器与宿主机共享内核、文件系统、硬件等资源。

1.3 性能与损耗

与虚拟机相比，容器资源损耗要少。同样的宿主机下，能够建立容器的数量要比虚拟机多。

但是，虚拟机的安全性要比容器稍好,要从虚拟机攻破到宿主机或其他虚拟机，需要先攻破Hypervisor层，这是极其困难的。

而docker 容器与宿主机共享内核、文件系统等资源，更有可能对其他容器、宿主机产生影响。

不同点	Docker容器	虚拟机
启动速度	快，几秒钟	慢，几分钟
运行性能	接近原生（直接在内核中运行）	运行与Hypervisor上，50%左右损失
磁盘占用	小，甚至几十kb(根据镜像层的情况)	非常大，上GB
并发性	一台宿主机可以启动成百上千个容器	最多几十个虚拟机
隔离性	进程级别	系统级别（更彻底）
操作系统很	主要支持Linux	几乎所有
封装程度	只打包项目代码和依赖关系，共享宿主机内核	完整的操作系统，与宿主机隔离

二：Docker 存在的安全问题

2.1 Docker 自身漏洞

Docker自身漏洞作为一款应用Docker本身实现上会有代码缺陷。CVE官方记录Docker历史版本共有超过20项漏洞,可参见Docker官方网站。黑客常用的攻击手段主要有代码执行、权限提升、信息泄露、权限绕过等。目前Docker版本更迭非常快, Docker用户可将Docker升级为最新版本。

2.2 Docker 源码问题

Docker提供了Docker hub,可以让用户上传创建的镜像,以便其他用户下载,快速搭建环境。但同时也带来了一些安全问题。例如下面三种方式:

1. 黑客上传恶意镜像

   • 如果有黑客在制作的镜像中植入木马、后门等恶意软件,那么环境从一开始就已经不安全了,后续更没有什么安全可言。

2. 镜像使用有漏洞的软件

   • DockerHub上能下载的镜像里面, 758的镜像都安装了有漏洞的软件。所以下载镜像后,需要检查里面软件的版本信息,对应的版本是否存在漏洞,并及时更新打上补丁。

3. 中间人攻击篡改镜像

   • 镜像在传输过程中可能被篡改, 目前新版本的Docker已经提供了相应的校验机制来预防这个问题。

三： Docker 架构缺陷与安全机制

Docker本身的架构与机制就可能产生问题，例如这样一种攻击场景，黑客已经控制了宿主机上的一些容器，或者获得了通过在公有云上建立容器的方式，然后对宿主机或其他容器发起攻击。

3.1 容器之间的局域网攻击

主机上的容器之间可以构成局域网,因此针对局域网的ARP欺骗、端口扫描、广播风暴等攻击方式便可以用上。

所以,在一个主机上部署多个容器需要合理的配置网络安全,比如设置iptables规则。

3.2 DDos攻击耗尽资源

cgroups安全机制就是要防止此类攻击的,不要为单一的容器分配过多的资源即可避免此类问题。

3.3 有漏洞的系统调用

Docker与虚拟机的一个重要的区别就是Docker与宿主机共用一个操作系统内核。

一旦宿主内核存在可以越权或者提权漏洞,尽管Docker使用普通用户执行,在容器被入侵时,攻击者还可以利用内核漏洞跳到宿主机做更多的事情。

3.4 共享root用户权限

如果以root用户权限运行容器(docker run --privileged) ,容器内的root用户也就拥有了宿主机的root权限

四： Docker 安全基准线标准

下面从内核、主机、网络、镜像、容器以及其它等6个方面总结Docker安全基线标准。

4.1 内核级别

1. 及时更新内核。
2. User NameSpace (容器内的root权限在容器之外处于非高权限状态)。
3. cgroups (对资源的配额和度量) ,设置CPU、内存、磁盘1o等资源限制。
4. 通过启用SELinux/AppArmor/GRSEC (控制文件访问权限)适当的强化系统来增加额外的安全性。
5. Capability (权限划分) ,比如划分指定的CPU给容器。
6. Seccomp (限定系统调用) ,限制不必要的系统调用。
7. 禁止将容器的命名空间与宿主机进程命名空间共享,比如host网络模式。

4.2 主机级别

1. 为容器创建独立分区，比如创建在分布式文件系统上。
2. 仅运行必要的服务，注意尽量避免在容器中运行 ssh 服务。
3. 禁止上将宿主机 上敏感目录映射到容器，-yv创建数据卷时需要注意。
4. 对 Docker 守护进程、相关文件和目录进行审计，防止有病毒或木马文件生成。
5. 设置适当的默认文件描述符数。（文件描述符∶简称fd，当应用程序请求内核打开/新建一一个文件时，内核会返回个文件描述符用于对应这个系统资源，理论上系统内存多大就应该可以打开多少个文件描述符，但是实际情况是，内核会有系统级限制，以及用户级限制，不让某一个应用程序进程消耗掉所有的文件资源，可以使用ulimit -n 查看）
6. 用户权限为 root 的 Docker 相关文件的访问权限应该为 644 或者更低权限。（7）周期性检查每个主机的容器清单，并清理不必要的容器。

4.3网络级别

1. 通过iptables设定规则实现禁止或允许容器之间网络流量。
2. 允许Docker修改iptables.
3. 禁止将Docker绑定到其他已使用的IP/Port或者Unix Socket.
4. 禁止在容器上映射特权端口。
5. 容器上只开放所需要的端口。
6. 禁止在容器上使用host网络模式。
7. 若宿主机有多个网卡,将容器进入流量绑定到特定的主机网卡上。
   1. docker network create --subnet=172.18.0.0/16 --opt "com.docker.network.bridqe .name"="docker1" mynetwork
   2. docker run -itd --net mynetwork --ip 172.18.0.100 centos:7 /bin/bash
   3. iptables -t nat -A POSTROUTING -s 172.18.0.100 -o ens36 -j SNAT --to-source 192.168.80.10

4.4 镜像级别

1. 创建本地私有镜像仓库服务器。
2. 镜像中软件都为最新版本,建议根据实际情况使用对应版本,业务稳定优先。
3. 使用可信镜像文件,并通过安全通道下载。
4. 重新构建镜像而非对容器和镜像打补丁,销毁异常容器重新构建。
5. 合理管理镜像标签,及时移除不再使用的镜像。
6. 使用镜像扫描。
7. 使用镜像签名。

4.5 容器级别

1. 容器最小化,操作系统镜像最小集。
2. 容器以单一主进程的方式运行。
3. 禁止--privileged标记使用特权容器。
4. 禁止在容器上运行ssh服务,尽量使用docker exec进入容器。
5. 以只读的方式挂载容器的根目录系统, -v宿主机目录:容器目录:ro.
6. 明确定义属于容器的数据盘符。
7. 通过设置on-failure限制容器尝试重启的次数,容器反复重启容易丢失数据, --restart=on-failure:3
8. 限制在容器中可用的进程数, docker run -m限制内存的使用,以防止fork炸弹。(fork炸弹,迅速增长子进程,耗尽系统进程数量) 经典的fork炸弹： . () { .| .&};

4.6 其他设置

1. 定期对宿主机系统及容器进行安全审计。
2. 使用最少资源和最低权限运行容器,此为Docker容器安全的核心思想。
3. 避免在同一宿主机上部署大量容器,维持在一个能够管理的数量。
4. 监控Docker容器的使用,性能以及其他各项指标,比如zabbix
5. 增加实时威胁检测和事件报警响应功能,比如zabbix.
6. 使用中心和远程日志收集服务,比如ELK 。

由于安全属于非常具体的技术,这里不再赘述,可直接参阅Docker官方文档, https://docs.docker.com/engine/security

五： 容器相关的常用安全配置

5.1 容器最小化

如果仅在容器中运行必要的服务，像SSH等服务是不能轻易开启去连接容器的。通常使用一下方式进入容器

docker exec -it 容器ID bash

5.2 Docker远程的API访问控制

Docker 的远程调用API 接口存在未授权访问漏洞，至少应该限制外网访问。建议使用Socket 方式访问。

在docker 服务配置文件中指定监听内网IP

[root@host103 ~]#vim /usr/lib/systemd/system/docker.service
13行修改
13:// ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock -H tcp://192.168.23.103:2375

重启docker

[root@host103 ~]# systemctl daemon-reload 
[root@host103 ~]# systemctl restart docke

[root@host103 ~]# netstat  -natp | grep 2375
tcp        0      0 192.168.23.103:2375     0.0.0.0:*               LISTEN      77808/dockerd 

在宿主机的firewalld上做ip访问控制。source address 指定客户端地址

[root@host103 ~]# firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.23.104" port protocol="tcp" port="2375" accept"
success

[root@host103 ~]# firewall-cmd --reload
success

在客户端实现远程授权访问

#在host103主机docker 客户端启动容器
[root@host103 ~]# docker run -itd  --name test1 centos:7   bas
[root@host103 ~]# docker run -itd  --name test2  centos:7   ba
[root@host103 ~]# docker ps 
CONTAINER ID   IMAGE      COMMAND   CREATED         STATUS    
e816df360df1   centos:7   "bash"    4 seconds ago   Up 3 secon
acfda848249f   centos:7   "bash"    8 seconds ago   Up 8 sec

#可以使用 -H选项指定ip和端口，能够使用远程的docker
[root@host104 ~]# docker -H tcp://192.168.23.103:2375 ps 
CONTAINER ID   IMAGE      COMMAND   CREATED          STAT
e816df360df1   centos:7   "bash"    13 seconds ago   Up 1
acfda848249f   centos:7   "bash"    17 seconds ago   Up

六： 限制流量流向

使用防火墙过滤器限制Docker容器的源IP 地址范围与外界通信

[root@host103 ~]# firewall-cmd --permanent --zone=public --add-rich-rule="rule family="ipv4" source address="192.168.100.0/24" reject"
success

生产环境中的大量问题是因为Docker容器端口外放引起的漏洞,除了操作系统账户权限控制上的问题,更在于对Docker Daemon的进程管理上存在隐患。

目前常用的Docker版本都支持Docker Daemon管理宿主机iptables的,而且一旦启动进程加上-p host port:guest port

的端口映射, Docker Daemon会直接增加对应的FORWARD Chain并且-j ACCEPT,而默认的DROP规则是在INPUT链做的,对docker没法限制,这就留下了很严重的安全隐患。因此建议:

(1)不在有外网ip的机器上使用Docker服务。

(2)使用k8s等docker编排系统管理Docker容器。

(3)宿主机上Docker daemon启动命令加一个--iptables=false,然后把常用iptables规则写进文件里,再用iptables-restore重定向输入去刷新规则。

七 镜像安全

一般情况下,要确保只从受信任的库中获取镜像,推荐使用harbor私有仓库。

如果公司使用的不是自己的镜像源,需要使用Docker镜像安全扫描工具Clair,对下载的镜像进行检查。通过与CVE数据库同步扫描镜像,验证镜像的md5等特征值,确认一致后再基于镜像进一步构建。一旦发现漏洞则通知用户处理,或者直接阻止镜像继续构建。

也可以使用linux自带的md5sum工具

八： DockerClient 端与DockerDaemon 的通信安全

8.1 SSL/TLS的通信过程

为了防止链路劫持、会话劫持等问题导致Docker通信时被中间人攻,, c/s两端应该通过TLs加密方式通讯。

通过在服务端上创建t1s密钥证书,再下发给客户端,客户端通过私钥访问容器,这样就保证的docker通讯的安全性。

使用证书访问的工作流程:

1. 客户端发起请求,连接到服务器的进程端口。
2. 服务器必须要有一套数字证书(证书内容有公钥、证书颁发机构、失效日期等) 。
3. 服务器将自己的数字证书发送给客户端(公钥在证书里面,私钥由服务器持有)。
4. 客户端收到数字证书之后,会验证证书的合法性。如果证书验证通过,就会生成一个随机的密钥对,用证书的公钥加密。
5. 客户端将公钥加密后的密钥发送到服务器。
6. 服务器接收到客户端发来的密文密钥之后,用自己之前保留的私钥对其进行非对称解密,解密之后就得到客户端的密钥,然后用客户端密钥对返回数据进行对称加密,这样传输的数据都是密文了
7. 服务器将加密后的密文数据返回到客户端。
8. 客户端收到后,用自己的密钥对其进行对称解密,得到服务器返回的数据。

8.2 创建ca证书过程

首先创建ca证书, ca证书只是一个官方认证的证书,接下来要创建server, client节点的证书。此时创建证书有三步:

(1)设置私钥,确保安全加密

(2)使用私钥签名,确保身份真实不可抵赖

(3)使用ca证书制作证书

注意，docker 的go 版本要再1.15版本以下

8.3创建目录，生成ca证书

8.3.1 创建目录，生成私钥文件

#卸载原docker-ce docker-ce-cli，安装20.10.5-3的版本
[root@host103 ~]#yum remove -y docker-ce-cli docker-ce 
[root@host103 ~]#yum install -y docker-ce-cli-20.10.5-3.el7.x86_64 docker-ce
#docker version查看到的docker 信息中，go版本不可以高于1.15
[root@host103 ~]#docker version

#创建目录
[root@host103 ~]# mkdir /tls
[root@host103 ~]# cd /tls/

#使用openssl 生成私钥
[root@host103 tls]# openssl genrsa -aes256 -out ca-key.pem 4096
Generating RSA private key, 4096 bit long modulus
..............................................................................++
.......................................................................++
e is 65537 (0x10001)
#验证密码输入123123
Enter pass phrase for ca-key.pem:123123
Verifying - Enter pass phrase for ca-key.pem:123123

genrsa:使用RSA算法产生私钥

-aes256:使用256位密钥的AEs算法对私钥进行加密，这样每次使用私钥文件都将输入密码，可省略

-out:输出文件的路径，若未指定输出文件，则为标准输出

4096:指定私钥长度，默认为1024。该项必须为命令行的最后一项参数

8.3.2 创建ca证书

#创建ca证书
[root@host103 tls]# openssl  req -new -x509 -days 1000 -key ca-key.pem -sha256 -subj "/CN=*" -out ca.pem
#验证密码，是之前的123123
Enter pass phrase for ca-key.pem: 123123


[root@host103 tls]# ls
ca-key.pem  ca.pem

req:执行证书签发命令-new:新证书签发请求

-x509:生成x509格式证书，专用于创建私有cA时使用

-days:证书的有效时长，单位是天

-key:指定私钥路径

-sha256:证书摘要采用sha256算法

-subj: 证书相关的用户信息 (subject的缩写)

-out:输出文件的路径

8.4  用ca证书签发server端证书 

#创建服务器私钥
[root@host103 tls]# openssl genrsa -out server-key.pem 4096
Generating RSA private key, 4096 bit long modulus
...................................................++
..............++
e is 65537 (0x10001)

#生成证书签名请求文件（csr文件）
[root@host103 tls]# openssl req -new -key server-key.pem -sha256 -subj "/CN=*" -out server.csr
[root@host103 tls]# ls
ca-key.pem  ca.pem  server.csr  server-key.pem


#使用ca证书与私钥证书签发服务端签名证书（密码123123）
[root@host103 tls]# openssl x509 -req -days 1000 -sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out server-cert.pem
Signature ok
subject=/CN=*
Getting CA Private Key
Enter pass phrase for ca-key.pem:123123


[root@host103 tls]# ls
ca-key.pem  ca.pem  ca.srl  server-cert.pem  server.csr  server-key.pem

x509:生成x509格式证书

-req:输入csr文件

-in:要输入的csr文件

-CA:指定ca证书的路径

-CAkey:指定ca证书的私钥路径

-CAcreateserial:表示创建证书序列号文件，创建的序列号文件默认名称为ca.srl

8.5用ca 证书签发client端证书

#生成客户端私钥
[root@host103 tls]# openssl genrsa -out client-key.pem 4096
Generating RSA private key, 4096 bit long modulus
......++
............++
e is 65537 (0x10001)
#生成了客户端私钥client-key.pem
[root@host103 tls]# ls
ca-key.pem  ca.pem  ca.srl  client-key.pem  server-cert.pem  server.csr  server-key.pem

#生成证书签名请求文件client-csr
[root@host103 tls]# openssl req -new -key client-key.pem -subj "/CN=client" -out client.csr
[root@host103 tls]# ls
ca-key.pem  ca.pem  ca.srl  client.csr  client-key.pem  server-cert.pem  server.csr  server-key.pem

#创建扩展配置文件extfile.cnf，使得密钥适合客户端身份验证
[root@host103 tls]# echo extendedKeyUsage=clientAuth > extfile.cnf

#使用ca证书签发客户端签名证书。密码123123
[root@host103 tls]# openssl x509 -req -days 1000 -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out client-cert.pem -extfile extfile.cnf
Signature ok
subject=/CN=client
Getting CA Private Key
Enter pass phrase for ca-key.pem:

[root@host103 tls]# ls
ca-key.pem  ca.pem  ca.srl  client-cert.pem  client.csr  client-key.pem  extfile.cnf  server-cert.pem  server.csr  server-key.pem


#删除两个证书签名请求文件和扩展配置文件
[root@host103 tls]# rm -rf ca.srl client.csr extfile.cnf server.csr 
[root@host103 tls]# ls
ca-key.pem  ca.pem  client-cert.pem  client-key.pem  server-cert.pem  server-key.pem

8.6 配置docker服务配置文件，重启docker

[root@host103 tls]# vim /lib/systemd/system/docker.service 
#修改13行
ExecStart=/usr/bin/dockerd  --tlsverify  --tlscacert=/tls/ca.pem --tlscert=/tls/server-cert.pem --tlskey=/tls/server-key.pem -H fd:// --containerd=/run/containerd/containerd.sock -H tcp://0.0.0.0:2376

#重启docker配置
[root@host103 tls]# systemctl daemon-reload 
[root@host103 tls]# systemctl restart docker 

[root@host103 tls]# netstat -natp | grep 2376
tcp6       0      0 :::2376                 :::*                    LISTEN      81977/dockerd    
[root@host103 tls]# setenforce 0

8.7 复制ca证书和客户端私钥，客户端签名证书到客户端主机，并修改服务端主机名，做hosts映射

# 复制ca证书和客户端私钥，客户端签名证书到客户端主机
[root@host103 tls]# scp ca.pem 192.168.23.104:/etc/docker/
[root@host103 tls]# scp client-cert.pem 192.168.23.104:/etc/docker/
[root@host103 tls]# scp client-key.pem 192.168.23.104:/etc/docker/

#配置服务端主机名和ip映射
[root@host103 tls]# echo '127.0.0.1  host103' >> /etc/hosts


#本地连接
[root@host103 tls]# docker --tlsverify --tlscacert=ca.pem --tlscert=server-cert.pem --tlskey=server-key.pem -H tcp://host103:2376 images
REPOSITORY   TAG       IMAGE ID   CREATED   SIZE

#本地连接
[root@host103 tls]# docker --tlsverify --tlscacert=ca.pem --tlscert=server-cert.pem --tlskey=server-key.pem -H tcp://host103:2376 pull nginx

[root@host103 tls]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED      SIZE
nginx        latest    87a94228f133   8 days ago   133MB

8.8客户端远程访问

[root@client ~]#yum remove -y docker-ce-cli docker-ce 
[root@client ~]#yum install -y docker-ce-cli-20.10.5-3.el7.x86_64 docker-ce

[root@client ~]# echo '192.168.23.103 host103' > /etc/hosts

[root@client ~]# cd /etc/docker/
[root@client docker]# ls
ca.pem  client-cert.pem  client-key.pem  daemon.json  key.json

[root@client docker]# docker --tlsverify --tlscacert=ca.pem --tlscert=client-cert.pem --tlskey=client-key.pem -H tcp://host103:2376 images
REPOSITORY   TAG       IMAGE ID       CREATED      SIZE
nginx        latest    87a94228f133   8 days ago   133MB

如果访问报错如下：

rpc error: code = Unavailable desc = connection error: desc = "transport: authentication handshake failed: x509: certificate relies on legacy Common Name field, use SANs or temporarily enable Common Name matching with GODEBUG=x509ignoreCN=0"

则是因为docker版本过高，其go版本高于1.15，因为为 go 1.15 版本开始废弃 CommonName

九：避免Docker 容器中信息泄露  

近几年 Github 上大量泄露个人或企业各种账号密码，出现这种问题一般都使用 dockerfile 或者 docker-compose 文件创建容器。 如果这些文件中存在账号密码等认证信息，一旦 Docker 容器对外开放，则这些宿主机上的敏感信息也会随之泄露。
因此可以通过以下方式检查容器创建模板的内容。

# check created users
grep authorized_keys $dockerfile

# check OS users
grep "etc/group" $dockerfile

# Check sudo users
grep "etc/sudoers.d" $dockerfile

# Check ssh key pair
grep ".ssh/.*id_rsa" $dockerfile