docker部署harbor私有镜像库（3）
一、harbor介绍
在实际生产运维中，往往需要把镜像发布到几十、上百台或更多的节点上。这时单台Docker主机上镜像已无法满足，项目越来越多，镜像就越来越多，都放到一台Docker主机上是不行的，我们需要一个像Git仓库一样系统来统一管理镜像。这里介绍的是一个企业级镜像仓库Harbor，将作为我们容器云平台的镜像仓库中心。
Habor是由VMWare公司开源的容器镜像仓库。事实上，Habor是在Docker Registry上进行了相应的企业级扩展，从而获得了更加广泛的应用，这些新的企业级特性包括：管理用户界面，基于角色的访问控制 ，AD/LDAP集成以及审计日志等，足以满足基本企业需求。
二、harbor和registry的比较
Harbor和Registry都是Docker的镜像仓库，但是Harbor作为更多企业的选择，是因为相比较于Regisrty来说，它具有很多的优势。
1、提供分层传输机制，优化网络传输
Docker镜像是是分层的，而如果每次传输都使用全量文件(所以用FTP的方式并不适合)，显然不经济。必须提供识别分层传输的机制，以层的UUID为标识，确定传输的对象。
2、提供WEB界面，优化用户体验
只用镜像的名字来进行上传下载显然很不方便，需要有一个用户界面可以支持登陆、搜索功能，包括区分公有、私有镜像。
3、支持水平扩展集群
当有用户对镜像的上传下载操作集中在某服务器，需要对相应的访问压力作分解。
4、良好的安全机制
企业中的开发团队有很多不同的职位，对于不同的职位人员，分配不同的权限，具有更好的安全性。
5、Harbor提供了基于角色的访问控制机制，并通过项目来对镜像进行组织和访问权限的控制。kubernetes中通过namespace来对资源进行隔离，在企业级应用场景中，通过将两者进行结合可以有效将kubernetes使用的镜像资源进行管理和访问控制，增强镜像使用的安全性。尤其是在多租户场景下，可以通过租户、namespace和项目相结合的方式来实现对多租户镜像资源的管理和访问控制。
三、部署harbor（在部署节点上）
harbor需要安装docker和docker-compose，client只需要安装docker
docker-compose的安装：
yum install epel-release yum install -y python-pip pip install --upgrade pip pip install docker-compose
1、下载harbor
https://github.com/goharbor/harbor/releases
2、解压至/opt下
[root@ren8 kubernetes]# tar zxf harbor-offline-installer-v1.4.0.tgz [root@ren8 kubernetes]# ls bash k8s197.tar.gz ca.tar.gz kube-yunwei-197 harbor kube-yunwei-197.tar.gz harbor-offline-installer-v1.4.0.tgz scope.yaml image sock-shop image.tar.gz [root@ren8 kubernetes]# cp -r harbor /opt/ [root@ren8 kubernetes]# cd /opt/harbor/ [root@ren8 harbor]# ls -trl 总用量 805152 -rwxr-xr-x 1 root root 25791 2月 6 2018 prepare -rw-r--r-- 1 root root 482 2月 6 2018 NOTICE -rw-r--r-- 1 root root 10771 2月 6 2018 LICENSE -rwxr-xr-x 1 root root 5773 2月 6 2018 install.sh drwxr-xr-x 3 root root 156 2月 6 2018 ha -rw-r--r-- 1 root root 824398580 2月 6 2018 harbor.v1.4.0.tar.gz -rw-r--r-- 1 root root 1140 10月 23 15:11 docker-compose.clair.yml -rw-r--r-- 1 root root 1732 10月 23 15:12 docker-compose.notary.yml -rw-r--r-- 1 root root 3396 10月 23 15:13 docker-compose.yml drwxr-xr-x 4 root root 37 10月 23 15:17 common -rw-r--r-- 1 root root 5968 10月 24 15:57 harbor.cfg
3、修改配置文件
（1）创建harbor工作目录，并准备ca证书，移动到harbor工作目录下
[root@ren8 ~]# ls anaconda-ks.cfg cert.tar.gz k8saddons.tar.gz original-ks.cfg bin docker kubernetes token.sh bin.tar.gz k8saddons kubernetes.tar.gz yum-repo.sh [root@ren8 ~]# tar xf cert.tar.gz [root@ren8 ~]# mkdir -p /data/harbor [root@ren8 ~]# cp -r cert /data/harbor [root@ren8 ~]# cd /data/harbor/cert/ [root@ren8 cert]# ls -trl 总用量 24 -rw-r--r-- 1 root root 3272 9月 28 17:43 ca.key -rw-r--r-- 1 root root 2130 9月 28 17:43 ca.crt -rw-r--r-- 1 root root 3272 9月 28 17:49 harbor.key -rw-r--r-- 1 root root 1756 9月 28 17:49 harbor.csr -rw-r--r-- 1 root root 2013 9月 28 17:49 harbor.crt -rw-r--r-- 1 root root 17 9月 28 17:49 ca.srl
（2）修改harbor主配置文件harbor.cfg
[root@ren8 cert]# cd /opt/harbor/ [root@ren8 harbor]# ls common ha LICENSE docker-compose.clair.yml harbor.cfg NOTICE docker-compose.notary.yml harbor.v1.4.0.tar.gz prepare docker-compose.yml install.sh
[root@ren8 harbor]# vim harbor.cfg
###################修改如下参数##################### hostname = reg.yunwei.com ui_url_protocol = https ssl_cert = /data/harbor/cert/harbor.crt #ca证书名称必须与实践文件同名 ssl_cert_key = /data/harbor/cert/harbor.key # secretkey_path = /data/harbor #ca证书的目录
harbor_admin_password = admin
（3）修改 docker-compose.clair.yml 编排文件
/data/harbor/clair-db:/var/lib/postgresql/data:z
（4）修改 docker-compose.notary.yml 编排文件
/data/harbor/notary-db:/var/lib/mysql:z
（5）修改 docker-compose.yml 编排文件
/data/harbor/:/var/log/docker/:z /data/harbor/registry:/storage:z /data/harbor/database:/var/lib/mysql:z /data/harbor/config/:/etc/adminserver/config/:z /data/harbor/secretkey:/etc/adminserver/key:z /data/harbor/:/data/:z /data/harbor/secretkey:/etc/ui/key:z /data/harbor/ca_download/:/etc/ui/ca/:z /data/harbor/psc/:/etc/ui/token/:z /data/harbor/job_logs:/var/log/jobs:z /data/harbor/secretkey:/etc/jobservice/key:z
4、安装、启动harbor
执行./install.sh（sh install.sh）脚本即可。
[root@ren8 harbor]# ls common ha LICENSE docker-compose.clair.yml harbor.cfg NOTICE docker-compose.notary.yml harbor.v1.4.0.tar.gz prepare docker-compose.yml install.sh [root@ren8 harbor]# sh install.sh
验证harbor是否部署成功（必须在/opt/harbor/目录下执行）
[root@ren8 harbor]# docker-compose ps Name Command State Ports ------------------------------------------------------------------------ harbor-adminserver /harbor/start.sh Up harbor-db /usr/local/bin Up 3306/tcp /docker-entr ... harbor-jobservice /harbor/start.sh Up harbor-log /bin/sh -c Up 127.0.0.1:1514->1051 /usr/local/bin/ ... 4/tcp harbor-ui /harbor/start.sh Up nginx nginx -g daemon off; Up 0.0.0.0:443->443/tcp , 0.0.0.0:4443->4443 /tcp, 0.0.0.0:80->80/tcp registry /entrypoint.sh serve Up 5000/tcp /etc/ ...
5、各节点设置登录harbor私有镜像仓库（为各节点分发ca证书）
（1）在每个节点（包括harbor节点）的/etc/docker/目录下，创建certs.d/reg.yunwei.com/目录
[root@ren8 ~]# mkdir -p /etc/docker/certs.d/reg.yunwei.com/
（2）harbor节点上，将harbor的ca证书中的ca.crt拷贝到/etc/docker目录下
[root@ren8 ~]# cp /data/harbor/cert/ca.crt /etc/docker/certs.d/reg.yunwei.com/
（3）将harbor节点的ca.crt文件，分发给各节点的/etc/docker/certs.d/reg.yunwei.com/下
[root@ren8 ~]# scp /etc/docker/certs.d/reg.yunwei.com/ca.crt ren7:/etc/d ocker/certs.d/reg.yunwei.com/ [root@ren8 ~]# scp /etc/docker/certs.d/reg.yunwei.com/ca.crt ren6:/etc/d ocker/certs.d/reg.yunwei.com/ [root@ren8 ~]# scp /etc/docker/certs.d/reg.yunwei.com/ca.crt ren5:/etc/d ocker/certs.d/reg.yunwei.com/
（4）harbor镜像库登录验证
1）命令行：各节点登陆镜像库地址后，输入用户名/密码（admin/admin）后出现 Login Succeeded
[root@ren7 ~]# docker login reg.yunwei.com Username: admin Password: Login Succeeded
如果登录不上，可以修改配置文件 /etc/docker/daemon.json
[root@ren8 ~]# cat /etc/docker/daemon.json { "registry-mirrors": ["http://cc83932c.m.daocloud.io"], "insecure-registries": ["192.168.11.7:5000"], "insecure-registries": ["192.168.11.8"], #添加harbor节点的ip的安全认证 "max-concurrent-downloads": 10, "log-driver": "json-file", "log-level": "warn", "log-opts": { "max-size": "10m", "max-file": "3" } }
[root@ren8 ~]# systemctl daemon-reload
[root@ren8 ~]# systemctl restart docker
四、上传镜像到harbor私有镜像仓库
1、本地镜像重新打tag
docker tag SOURCE_IMAGE[:TAG] reg.yunwei.com/learn/IMAGE[:TAG]
2、将重新打好tag的镜像上传到镜像库
如果在推送镜像时，被拒绝（denied: requested access to the resource is denied），是因为没有docker login 登陆harbor镜像库。
docker push reg.yunwei.com/learn/IMAGE[:TAG]
3、其它节点配置好了ca证书的ca.crt文件后，便可执行如下命令下载镜像。在kubernetes集群中节点中启动pod时，会自动下载镜像
docker pull reg.yunwei.com/learn/busybox:latest
五、harbor启动和停止
进入到harbor目录下，拥有docker-compose.yml的文件目录下执行如下的命令启动和关闭：
[root@ren8 harbor]# docker-compose start [root@ren8 harbor]# docker-compose restart [root@ren8 harbor]# docker-compose stop [root@ren8 harbor]# docker-compose rm
六、harbor各组件介绍
默认情况下，harbor运行起来后有如下容器：
[root@ren8 harbor]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES d82eb9967cc3 vmware/harbor-jobservice:v1.4.0 "/harbor/start.sh" 46 hours ago Up 2 hours (healthy) harbor-jobservice 5e8849eaf757 vmware/nginx-photon:v1.4.0 "nginx -g 'daemon of…" 46 hours ago Up 2 hours 0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp nginx 6e4a776103b5 vmware/harbor-ui:v1.4.0 "/harbor/start.sh" 46 hours ago Up 2 hours (healthy) harbor-ui eff0c2c84df6 vmware/harbor-adminserver:v1.4.0 "/harbor/start.sh" 46 hours ago Up 2 hours (healthy) harbor-adminserver ca862377182c vmware/registry-photon:v2.6.2-v1.4.0 "/entrypoint.sh serv…" 46 hours ago Up 2 hours (healthy) 5000/tcp registry f37bb2d03d39 vmware/harbor-db:v1.4.0 "/usr/local/bin/dock…" 46 hours ago Up 2 hours (healthy) 3306/tcp harbor-db d9f6ccc5d821 vmware/harbor-log:v1.4.0 "/bin/sh -c /usr/loc…" 46 hours ago Up 2 hours (healthy) 127.0.0.1:1514->10514/tcp harbor-log
分别为nginx，harbor-jobservice，harbor-ui，harbor-adminserver，registry，harbor-db，harbor-log，由上我们可以得出下面的架构图：
Harbor是通过docker compose来部署的，这也是为什么在装Harbor之前，需要安装docker-compose。各个模块的详细介绍如下：
1、Proxy：对应启动组件nginx,是一个nginx反向代理，Harbor的registry,UI,token services等组件,都处在一个反向代理后边,该代理负责将来自浏览器,docker clients的请求转发到后端服务上
2、Registry：对应启动组件registry.负责存储Docker镜像文件,以及处理Docker的push,pull等请求.Harbor对镜像进行强制的访问控制,Registry会将客户端的每个pull,push请求转发到token服务来获取有效的token.
3、Core services：Harbor的核心功能,主要包括3个服务:UI,Job services和Log collector.
（1）UI：对应启动组件harbor-ui.以图像用户界面的方式,辅助用户管理镜像,我个人觉得这样使得使用Harbor时,更加友好.
（2）Job services：对应启动组件harbor-jobservice,主要用于镜像复制,和registry通信,本地镜像可以push到Harbor镜像仓库中,同样也可以从Harbor镜像仓库中pull到本地,同时记录job_log.
（3）Log collector：对应启动组件harbor-log.负责收集其他模块的日志到一个地方
4、Database：对应启动组件harbor-db.负责存储project,user,role,replication等的metadata数据.
5、adminserver：对应启动组件harbor-adminserver.是系统的配置管理中心,当ui和jobserver启动时,需要加载adminserver的配置
