docker(22):dockers企业级私有仓库harbor
docker(22):dockers企业级私有仓库harbor
https://www.cnblogs.com/pangguoping/p/7650014.html
1 harbor简介
Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器,通过添加一些企业必需的功能特性,例如安全、标识和管理等,扩展了开源Docker Distribution。作为一个企业级私有Registry服务器,Harbor提供了更好的性能和安全。提升用户使用Registry构建和运行环境传输镜像的效率。Harbor支持安装在多个Registry节点的镜像资源复制,镜像全部保存在私有Registry中, 确保数据和知识产权在公司内部网络中管控。另外,Harbor也提供了高级的安全特性,诸如用户管理,访问控制和活动审计等。
2 Harbor特性
- 基于角色的访问控制 :用户与Docker镜像仓库通过“项目”进行组织管理,一个用户可以对多个镜像仓库在同一命名空间(project)里有不同的权限。
- 镜像复制 : 镜像可以在多个Registry实例中复制(同步)。尤其适合于负载均衡,高可用,混合云和多云的场景。
- 图形化用户界面 : 用户可以通过浏览器来浏览,检索当前Docker镜像仓库,管理项目和命名空间。
- AD/LDAP 支持 : Harbor可以集成企业内部已有的AD/LDAP,用于鉴权认证管理。
- 审计管理 : 所有针对镜像仓库的操作都可以被记录追溯,用于审计管理。
- 国际化 : 已拥有英文、中文、德文、日文和俄文的本地化版本。更多的语言将会添加进来。
- RESTful API : RESTful API 提供给管理员对于Harbor更多的操控, 使得与其它管理软件集成变得更容易。
- 部署简单 : 提供在线和离线两种安装工具, 也可以安装到vSphere平台(OVA方式)虚拟设备。
3 Harbor组件
Harbor在架构上主要由6个组件构成:
- Proxy:Harbor的registry, UI, token等服务,通过一个前置的反向代理统一接收浏览器、Docker客户端的请求,并将请求转发给后端不同的服务。
- Registry: 负责储存Docker镜像,并处理docker push/pull 命令。由于我们要对用户进行访问控制,即不同用户对Docker image有不同的读写权限,Registry会指向一个token服务,强制用户的每次docker pull/push请求都要携带一个合法的token, Registry会通过公钥对token 进行解密验证。
- Core services: 这是Harbor的核心功能,主要提供以下服务:
- UI:提供图形化界面,帮助用户管理registry上的镜像(image), 并对用户进行授权。
- webhook:为了及时获取registry 上image状态变化的情况, 在Registry上配置webhook,把状态变化传递给UI模块。
- token 服务:负责根据用户权限给每个docker push/pull命令签发token. Docker 客户端向Regiøstry服务发起的请求,如果不包含token,会被重定向到这里,获得token后再重新向Registry进行请求。
- Database:为core services提供数据库服务,负责储存用户权限、审计日志、Docker image分组信息等数据。
- Job Services:提供镜像远程复制功能,可以把本地镜像同步到其他Harbor实例中。
- Log collector:为了帮助监控Harbor运行,负责收集其他组件的log,供日后进行分析。
各个组件之间的关系如下图所示:
4 Harbor实现
Harbor的每个组件都是以Docker容器的形式构建的,官方也是使用Docker Compose来对它进行部署。用于部署Harbor的Docker Compose模板位于 harbor/docker-compose.yml,打开这个模板文件,发现Harbor是由7个容器组成的;
[root@docker-136 harbor]# docker-compose ps Name Command State Ports --------------------------------------------------------------------------------------------- harbor-core /harbor/start.sh Up (healthy) harbor-db /entrypoint.sh postgres Up (healthy) 5432/tcp harbor-jobservice /harbor/start.sh Up harbor-log /bin/sh -c /usr/local/bin/ ... Up (healthy) 127.0.0.1:1514->10514/tcp harbor-portal nginx -g daemon off; Up (healthy) 80/tcp nginx nginx -g daemon off; Up (healthy) 0.0.0.0:80->80/tcp redis docker-entrypoint.sh redis ... Up 6379/tcp registry /entrypoint.sh /etc/regist ... Up (healthy) 5000/tcp registryctl /harbor/start.sh Up (healthy) [root@docker-136 harbor]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES fd3559621cb7 goharbor/nginx-photon:v1.8.1 "nginx -g 'daemon of…" 10 minutes ago Up 10 minutes (healthy) 0.0.0.0:80->80/tcp nginx 3940c66056f3 goharbor/harbor-jobservice:v1.8.1 "/harbor/start.sh" 10 minutes ago Up 2 minutes harbor-jobservice 1103e4ec2232 goharbor/harbor-portal:v1.8.1 "nginx -g 'daemon of…" 10 minutes ago Up 10 minutes (healthy) 80/tcp harbor-portal ab0b0b97604b goharbor/harbor-core:v1.8.1 "/harbor/start.sh" 10 minutes ago Up 10 minutes (healthy) harbor-core 48473e2b0bd6 goharbor/redis-photon:v1.8.1 "docker-entrypoint.s…" 10 minutes ago Up 10 minutes 6379/tcp redis 29de4235c673 goharbor/harbor-registryctl:v1.8.1 "/harbor/start.sh" 10 minutes ago Up 10 minutes (healthy) registryctl 3ed45de0853d goharbor/registry-photon:v2.7.1-patch-2819-v1.8.1 "/entrypoint.sh /etc…" 10 minutes ago Up 10 minutes (healthy) 5000/tcp registry cdc2b0989cef goharbor/harbor-db:v1.8.1 "/entrypoint.sh post…" 10 minutes ago Up 10 minutes (healthy) 5432/tcp harbor-db e6d5483bdc26 goharbor/harbor-log:v1.8.1 "/bin/sh -c /usr/loc…" 11 minutes ago Up 10 minutes (healthy) 127.0.0.1:1514->10514/tcp harbor-log
nginx:nginx负责流量转发和安全验证,对外提供的流量都是从nginx中转,所以开放https的443端口,它将流量分发到后端的ui和正在docker镜像存储的docker registry。
harbor-jobservice:harbor-jobservice 是harbor的job管理模块,job在harbor里面主要是为了镜像仓库之前同步使用的;
harbor-ui:harbor-ui是web管理页面,主要是前端的页面和后端CURD的接口;
registry:registry就是docker原生的仓库,负责保存镜像。
harbor-adminserver:harbor-adminserver是harbor系统管理接口,可以修改系统配置以及获取系统信息。
这几个容器通过Docker link的形式连接在一起,在容器之间通过容器名字互相访问。对终端用户而言,只需要暴露proxy (即Nginx)的服务端口。
harbor-db:harbor-db是harbor的数据库,这里保存了系统的job以及项目、人员权限管理。由于本harbor的认证也是通过数据,在生产环节大多对接到企业的ldap中;
harbor-log:harbor-log是harbor的日志服务,统一管理harbor的日志。通过inspect可以看出容器统一将日志输出的syslog。
这几个容器通过Docker link的形式连接在一起,这样,在容器之间可以通过容器名字互相访问。对终端用户而言,只需要暴露proxy (即Nginx)的服务端口。
5 Harbor安装
https://github.com/goharbor/harbor/releases
wget https://storage.googleapis.com/harbor-releases/release-1.8.0/harbor-online-installer-v1.8.1.tgz tar xf harbor-online-installer-v1.8.1.tgz cd harbor #修改主机名和管理员密码、数据库密码 vim harbor.yml hostname: 10.0.0.11 harbor_admin_password: 123456 database: password: 123456 #安装 ./install.sh #接下来就是漫长的等待
5.1 配置文件harbor.yml
[root@docker-136 harbor]# ll 总用量 551216 drwxr-xr-x 3 root root 20 8月 19 11:31 common -rw-r----- 1 root root 5183 8月 19 11:31 docker-compose.yml -rw-r--r-- 1 root root 564403568 6月 17 11:30 harbor.v1.8.1.tar.gz -rw-r--r-- 1 root root 4510 8月 19 11:24 harbor.yml -rwxr-xr-x 1 root root 5088 6月 17 11:29 install.sh -rw-r--r-- 1 root root 11347 6月 17 11:29 LICENSE -rwxr-xr-x 1 root root 1654 6月 17 11:29 prepare [root@docker-136 harbor]#
1. 从 1.8.0 后,harbor配置文件由原先的 harbor.cfg 改为 harbor.yml
ostname 目标主机的主机名,用于访问Portal和注册表服务。它应该是目标计算机的IP地址或完全限定的域名(FQDN),例如,192.168.1.10或reg.yourdomain.com。不要使用localhost或127.0.0.1作为主机名 - 外部客户端需要访问注册表服务
这里修改为我们的主机ip即可 例如修改为 10.10.55.55
data_volume: 存储 harbor 数据的位置。 这里可以修改 为 /usr/local/workspace/harbor/data
harbor_admin_password:管理员的初始密码。此密码仅在Harbor首次启动时生效。之后,将忽略此设置,并且应在Portal中设置管理员密码。请注意,默认用户名/密码为admin / Harbor12345。
关于端口配置:
http:
port:你的http的端口号
https:用于访问Portal和令牌/通知服务的协议。如果启用了公证,则必须设置为https。请参阅使用HTTPS访问配置Harbor。
port:https的端口号
certificate:SSL证书的路径,仅在协议设置为https时应用。
private_key:SSL密钥的路径,仅在协议设置为https时应用。
5.2 免https使用
配置免https
修改 /etc/docker/daemon.json cat /etc/docker/daemon.json { "registry-mirrors": ["https://6ek3bw21.mirror.aliyuncs.com"], "insecure-registries": ["192.168.0.136"] }
# 重启docker systemctl daemon-reload systemctl restart docker.service # 重启harbor仓库 # cd 到 harbor的安装目录 cd /root/tools/harbor # 执行命令 docker-compose stop docker-compose up -d
6 web登陆
7 上传镜像
linux 上登录harbor仓库 # 192.168.x.x 表示 linux服务器地址,请换成自己的服务器ip # 注意要说明自己登陆哪个ip,不然默认会登陆到docker hub,即docker官方仓库,这不是我们想要的 docker login 192.168.0.136 # 修改待上传镜像的tag docker tag httpd:2.2 192.168.0.136/library/httpd:2.2 # 上传镜像 docker push 192.168.0.136/library/httpd:2.2 # 出现 类似下述信息 表示上传成功 2.2: digest: sha256:558680adf8285edcfe4813282986eb7143e3c372610c6ba488723786bd5b34c5 size: 1366
8 下载镜像
[root@docker-136 tmp]# docker image rm 192.168.0.136/library/httpd:2.2 Untagged: 192.168.0.136/library/httpd:2.2 Untagged: 192.168.0.136/library/httpd@sha256:558680adf8285edcfe4813282986eb7143e3c372610c6ba488723786bd5b34c5 [root@docker-136 tmp]# docker login 192.168.0.136 Authenticating with existing credentials... WARNING! Your password will be stored unencrypted in /root/.docker/config.json. Configure a credential helper to remove this warning. See https://docs.docker.com/engine/reference/commandline/login/#credentials-store Login Succeeded [root@docker-136 tmp]# docker pull 192.168.0.136/library/httpd:2.2 2.2: Pulling from library/httpd Digest: sha256:558680adf8285edcfe4813282986eb7143e3c372610c6ba488723786bd5b34c5 Status: Downloaded newer image for 192.168.0.136/library/httpd:2.2 192.168.0.136/library/httpd:2.2 [root@docker-136 tmp]# docker images|grep 192.168.0.136/library/ 192.168.0.136/library/httpd 2.2 e06c3dbbfe23 19 months ago 171MB [root@docker-136 tmp]#
9 Harbor主从同步
无论是新建项目还是上传、删除镜像都实现同步。
10 将registry仓库镜像迁移至harbor中
脚本:
注意library 目录,注意docker login
#!/bin/bash #images=`curl -s -u admin:123456 192.168.0.137:5000/v2/_catalog | jq .repositories[] | tr -d '"'` yum install -y jq docker login -u admin --password 123456 192.168.0.137 images=`curl -s http://192.168.0.136:5000/v2/_catalog | jq .repositories[] | tr -d '"'` for image in $images; do tags=`curl -s http://192.168.0.136:5000/v2/$image/tags/list | jq .tags[] | tr -d '"'` for tag in $tags; do docker tag 192.168.0.136:5000/$image:$tag 192.168.0.137/library/$image:$tag docker push 192.168.0.137/library/$image:$tag if [ $? -eq 0 ];then echo "###############################$image:$tag pull complete!###############################" else echo "$image:$tag pull failure!" fi done done