基于云原生DevOps服务自动化部署前端项目学习总结
本文主要以部署前端Vue项目为例，讲述了如何基于云原生DevOps服务自动化部署前端项目~从开发完成到线上环境，我们只需提交代码即可~
一、引言
作为一名开发人员，日常工作中我们除了需要负责代码的开发外，通常还需要负责代码的部署，运维等工作。而在传统的手工部署方法中，在每次版本迭代或需求变更完成后，除了将代码提交到代码仓库外，如果需要更新线上环境，我们还需要重复本地构建打包、连接远程服务器、上传代码到服务器指定目录等步骤。这些步骤虽然简单，但是通常耗时耗力，若同时存在多个环境时，也容易引起部署错误。
而随着DevOps理念、容器技术和IT自动化等理念与技术的兴起，我们可以利用现有的技术和工具，以IT自动化以及持续集成（CI）、持续部署（CD）为基础，搭建一个完整的工作流，用于优化程序开发、测试、系统运维等所有环节。如下面这个图所示，从开发完成到线上环境，我们只需提交代码即可。
接下来，将以部署前端Vue项目为例，讲述如何通过腾讯云CODING DevOps、容器镜像服务TCR、容器服务TKE和负载均衡CLB等云产品提供的强大云原生DevOps服务来实现vue项目的自动化部署，重点记录了自己的学习过程~
二、需要掌握的技术
在学习基于云原生DevOps服务自动化部署项目之前，我们需要先熟悉以下技术及工具的基本使用方法~
1、Docker
DevOps是一种理念，而其具体实现通常需要基于容器技术。而Docker作为一个开源容器项目，提供了高效、敏捷和轻量级的容器方案，并支持部署到本地环境和多种主流云平台。下面主要列举了Docker的一些常用操作：
|
从仓库拉取镜像 []表示可省略 |
docker [image] pull nginx:latest |
|
列出本机的所有镜像文件 |
docker [image] ls |
|
删除镜像 |
docker [image] rm nginx:latest |
|
上传镜像 |
docker [image] push nginx:latest |
|
使用Dockerfile构建镜像 -t：指定镜像的标签列表 -f：Dockerfile名称及路径 |
docker [image] build -t nginx:new -f /dockerfile_path |
|
运行镜像，并生成一个容器 -p：容器端口映射 -i：分配伪终端，并绑定到容器的标准输入上 -t：让容器的标准输入保持打开 -d：让容器在后台以守护态形式运行 |
docker [container] run -p 80:80 -it -d nginx:latest |
| 列出所有正在运行的容器 | docker [container] ps |
| 列出所有容器，包括终止运行的容器 | docker [container] ps -a |
| 启动容器 | docker [container] start container_name/container_id |
| 暂停容器 | docker [container] stop container_name/container_id |
| 删除容器 | docker [container] rm container_name/container_id |
2、Kubernetes
Kubernetes（K8S）是负责自动化运维管理多个Docker容器的集群，解决了容器的管理和调度问题，需要理解Node、Pod、Deployment、Service和Ingress等相关概念。
相关学习网站：https://kubernetes.io/zh/docs/concepts/overview/what-is-kubernetes/
3、持续集成/持续部署工具
现有的持续集成/持续部署（CI/CD）工具通常包括了Jenkins、Travis CI、Circle CI、TeamCity、CodeShip、GitLab CI和Bamboo等，由于CODING持续集成全面兼容Jenkins的持续集成服务，所以这里也使用到了Jenkins，需要掌握Jenkinsfile的使用。
4、用到的云产品
CODING DevOps：https://cloud.tencent.com/product/coding-ci
容器镜像服务TCR：https://cloud.tencent.com/product/tcr
容器服务TKE：https://cloud.tencent.com/product/tke
负载均衡CLB：https://cloud.tencent.com/product/clb
CODING DevOps能够与TCR和TKE紧密结合，当CODING代码仓库的源代码发生更新时，就能够自动触发镜像构建，并推送到TCR镜像仓库。同时，通过在TCR设置交付流水线，当TCR镜像仓库发生更新时，能够自动触发TKE集群进行部署，从而更新线上环境。
三、先从一个简单例子讲起
由于采用基于云原生的DevOps需要使用容器技术实现项目的部署，因此这里以Vue项目为例，介绍了如何采用Docker容器部署前端项目。
1、基于Docker容器部署Vue项目
前提条件：一台已经安装了Docker环境的服务器（云服务器CVM），以及一个Vue项目，并且通过npm run build生成了dist目录。
1）编写Dockerfile文件
Dockerfile文件一般存放在项目根目录，也可以自由指定存放目录。Dockerfile的内容如下：
# 前端应用部署在nginx里面，所以需要依赖nginx镜像 FROM nginx # 可以指定镜像的所有者，非必须 MAINTAINER iceshuang@tencent.com # 将构建后的资源目录复制到nginx默认的静态资源托管目录中 COPY dist/ /usr/share/nginx/html/ # 非守护态运行，使容器不会自动退出 CMD nginx -g 'daemon off;'
2）将dist目录和Dockerfile上传到服务器指定目录下
3）根据Dockerfile文件构建镜像，这里将镜像的标签名称命名为web
4）构建好镜像后，会根据这个镜像创建并启动容器，这里将容器名称命名为为vue
5）由于创建容器时绑定了端口号8080，因此可以通过ip:8080访问前端项目
2、使用CODING DevOps创建自己的构建计划
接下来，将基于上面的基础，使用CODING DevOps创建一个完整的工作流，实现从开发完成到线上环境，只需提交代码即可。
前提条件：已经申请了CODING DevOps的团队域名和团队项目，并且已经创建并初始化了一个项目仓库（详细文档）。
1）创建Docker类制品库
选择制品管理 -> 制品仓库，创建Docker类制品库。创建成功后，点击使用访问令牌生成配置，记录下对应的登录名和密码（详细文档），如下图所示，创建了一个名为image的镜像仓库。
点击项目设置（左下角）-> 开发者选项 -> 凭据管理 -> 录入凭据，配置登录名密码生成凭据，创建成功后，会生成一个凭据ID。该凭据用于向制品库拉取和上传镜像。
2）云服务器创建SSH密钥对
在云服务器控制器创建SSH密钥对，并且将密钥对绑定到对应的云服务器（详细文档）。
点击项目设置（左下角）-> 开发者选项 -> 凭据管理 -> 录入凭据，根据上面生成的密钥信息，配置SSH密钥生成凭据，创建成功后，会生成一个凭据ID。该凭据用于登录云服务器。
3）创建Jenkinsfile文件
Jenkinsfile文件主要用于自定义持续集成流水线过程，可以根据实际情况设置Jenkinsfile的路径。这里主要在Vue项目根目录新建了deploy目录，并将Jenkinsfile和Dockerfile放入deploy中。
vue |- package.json |- README.md |- /deploy |- Dockerfile |- Jenkinsfile |- /node_modules |- .src |- .dockerignore
Dockfile内容和前面保持一致，Jenkinsfile内容如下，其中，变量DOCKER_REGISTRY_CREDENTIALS_ID、CVM_REGISTRY_CRENDENTIALS_ID、CVM_NAME、CVM_IP和CVM_USER需要在步骤4）中进行设置。
pipeline { agent any stages { stage('检出') { steps { checkout([$class: 'GitSCM', branches: [[name: GIT_BUILD_REF]], userRemoteConfigs: [[ url: GIT_REPO_URL, credentialsId: CREDENTIALS_ID ]]]) } } stage('安装依赖') { steps { sh 'npm install' } } stage('构建') { steps { sh 'npm run build' } } stage('构建镜像') { steps { echo '构建镜像...' script { sh "docker build -t icesices-docker.pkg.coding.net/vue/image/${env.GIT_LOCAL_BRANCH}-${env.CI_BUILD_NUMBER} -f ./deploy/Dockerfile ." } echo '构建镜像完成' } } stage('推送镜像') { steps { echo '推送镜像...' script { // DOCKER_REGISTRY_CREDENTIALS_ID需要在变量与缓存中进行设置 withCredentials([usernamePassword(credentialsId: env.DOCKER_REGISTRY_CREDENTIALS_ID, usernameVariable: 'REGISTRY_USER', passwordVariable: 'REGISTRY_PASS')]) { sh "docker login -u ${env.REGISTRY_USER} -p ${env.REGISTRY_PASS} icesices-docker.pkg.coding.net" sh "docker push icesices-docker.pkg.coding.net/vue/image/${env.GIT_LOCAL_BRANCH}-${env.CI_BUILD_NUMBER}" } } echo '推送镜像完成' } } stage('部署') { steps { echo '部署中...' script { // CVM_NAME 服务器名称 CVM_IP 服务器ip CVM_USER 账号名称，需要在变量与缓存中进行设置 def remote = [:] remote.name = env.CVM_NAME remote.allowAnyHosts = true remote.host = env.CVM_IP remote.port = 22 remote.user = env.CVM_USER // CVM_REGISTRY_CRENDENTIALS_ID需要在变量与缓存中进行设置，该步骤主要通过SSH登录到云服务器，并且拉取Docker镜像，启动并运行容器 withCredentials([sshUserPrivateKey(credentialsId: env.CVM_REGISTRY_CRENDENTIALS_ID, keyFileVariable: 'id_rsa')]) { remote.identityFile = id_rsa // DOCKER_REGISTRY_CREDENTIALS_ID需要在变量与缓存中进行设置 withCredentials([usernamePassword(credentialsId: env.DOCKER_REGISTRY_CREDENTIALS_ID, usernameVariable: 'REGISTRY_USER', passwordVariable: 'REGISTRY_PASS')]) { sshCommand remote: remote, command: "docker login -u ${env.REGISTRY_USER} -p ${env.REGISTRY_PASS} icesices-docker.pkg.coding.net" sshCommand remote: remote, command: "docker pull icesices-docker.pkg.coding.net/vue/image/${env.GIT_LOCAL_BRANCH}-${env.CI_BUILD_NUMBER}" sshCommand remote: remote, command: "docker stop vue | true" sshCommand remote: remote, command: "docker rm vue | true" sshCommand remote: remote, command: "docker run --name vue -p 8080:80 -d icesices-docker.pkg.coding.net/vue/image/${env.GIT_LOCAL_BRANCH}-${env.CI_BUILD_NUMBER}" } } } echo '部署完成' } } } }
4）创建构建计划
点击持续集成 -> 构建计划 -> 自定义构建过程，选择对应的仓库，并且填入Jenkinsfile的路径。
配置节点池，这里可以采用CODING提供的云主机构建（有构建限制，需要提高配额才能有更好的体验），也可以采用自定义构建节点devcloud构建（详细文档），可以根据实际需要进行选择。
设置触发规则，当代码发生更新就自动触发构建。
设置变量与缓存，这里设置的变量为在Jenkinsfile中定义的变量，其中，DOCKER_REGISTRY_CREDENTIALS_ID为制品库的推送凭据，CVM_REGISTRY_CRENDENTIALS_ID为云服务器的SSH密钥，这里的值对应了步骤2）和步骤3）中生成的凭据的ID，将对应的值复制过来就好。CVM_NAME、CVM_IP和CVM_USER分别表示云服务器的名称、IP和账号名称。
5）执行构建计划
完成上述步骤之后，当我们本地完成开发，只要推送代码到代码仓库，就能够触发构建计划，自动进行代码编译构建、镜像推送和代码部署等工作，当构建成功后，重新访问我们的网站，就能够看到线上环境更新了。同时，在制品库也能够看到每次推送的镜像。
四、进阶学习
在实际的项目中，通常我们需要部署的服务器往往不止一台，而一台服务器上通常又会运行多个Docker容器。因此，为了更加高效的管理和调度Docker容器，并且得到更加安全，独享的高性能应用制品托管分发服务，接下来，将会介绍如何基于CODING DevOps、TCR、TKE和CLB等云产品提供的的强大的云原生DevOps服务来部署前端项目。
1、容器镜像服务TCR
TCR主要用来存储镜像，使用交付流水线实现容器DevOps，从而更新TKE集群中工作负载的镜像（详细文档）。
1）创建容器镜像实例
TCR包括了个人版和企业版，企业版能够提供更加安全、独享的高性能应用制品托管分发服务，因此这里使用了企业版，需要购买后才能使用。
创建实例成功后，点击实例进入配置，并新建访问凭证。记下该访问凭证的账号密码，并在CODING DevOps的凭据管理中进行录入，从而使得CODING DevOps能够向TCR推送镜像，具体见下文CODING DevOps的步骤2）。
2）创建命名空间和镜像仓库
由于创建镜像仓库时需要选取命名空间，因此这里需要先创建命名空间，然后再创建镜像仓库，生成的仓库地址就是我们在后续中拉取和推送镜像的地址。
3）配置网络访问策略
内网访问通过配置内网访问链路，指定可以访问镜像数据的私有网络VPC，通过内网方式拉取镜像可以提高推送和拉取速度。下文TKE集群在配置TCR插件拉取镜像时，需要先配置好内网访问策略。
4）配置交付流水线
前提条件：已经按照下文的部署创建好TKE集群和工作负载，部署了容器应用。
配置交付流水线包括两种场景，第一种是推送代码后自动触发镜像构建和应用部署，第二种是本地推送镜像后自动触发部署（详细文档）。这里使用到了第二种场景。
选择容器镜像服务 -> 交付中心 -> 交付流水线，新建流水线，填写流水线的相关信息。选择需要拉取的镜像仓库及所需要更新的TKE集群。
创建成功后，在容器镜像服务 -> 运维中心 -> 触发器中可以看到自动生成了触发器。
此外，在容器镜像服务 -> 实例列表 -> 访问凭据中可以看到自动生成了流水线交付专用凭据。
完成上述步骤后，当有新的镜像推送到镜像仓库时，就会触发触发器，更新TKE集群的工作负载。同时，交付流水线也会被触发执行。
2、CODING DevOps
CODING DevOps主要用来托管代码，通过配置构建计划，实现代码编译构建，镜像构建和推送镜像到TCR（详细文档）。
前提：已经申请了CODING DevOps的团队域名和团队项目，并且已经创建并初始化了一个项目仓库。
1）创建Jenkinsfile文件
同前面的例子一样，仍然在Vue根目录中创建了deploy目录，并将Dockerfile和Jenkinsfile放入deploy中。Dockerfile的内容仍然保持不变，Jenkinsfile的内容如下：
pipeline { agent any stages { stage('检出') { steps { checkout([$class: 'GitSCM', branches: [[name: GIT_BUILD_REF]], userRemoteConfigs: [[ url: GIT_REPO_URL, credentialsId: CREDENTIALS_ID ]]]) } } stage('安装依赖') { steps { sh 'npm install' } } stage('构建') { steps { sh 'npm run build' } } stage('构建镜像') { steps { echo '构建镜像...' script { sh "docker build -t vue-web.tencentcloudcr.com/vue/image:${env.GIT_LOCAL_BRANCH}-${env.CI_BUILD_NUMBER} -f ./deploy/Dockerfile ." } echo '构建镜像完成' } } stage('推送镜像') { steps { echo '推送镜像...' script { // DOCKER_REGISTRY_CREDENTIALS_ID需要在变量与缓存中进行设置 withCredentials([usernamePassword(credentialsId: env.DOCKER_REGISTRY_CREDENTIALS_ID, usernameVariable: 'REGISTRY_USER', passwordVariable: 'REGISTRY_PASS')]) { sh "echo ${REGISTRY_PASS} | docker login -u ${REGISTRY_USER} --password-stdin vue-web.tencentcloudcr.com" sh "docker push vue-web.tencentcloudcr.com/vue/image:${env.GIT_LOCAL_BRANCH}-${env.CI_BUILD_NUMBER}" } } echo '推送镜像完成' } } } }
2）设置访问凭据
点击项目设置（左下角）-> 开发者选项 -> 凭据管理 -> 录入凭据，配置账号密码生成凭据，该凭据是推送镜像到TCR的凭据，账号密码需要在TCR中获取，具体见上文容器镜像服务TCR的步骤1）。
3）创建构建计划
点击持续集成 -> 构建计划 -> 自定义构建过程，选择代码仓库，填写Jenkinsfile的路径，创建构建计划。
创建成功后，需要进行基础信息和触发规则的配置。
此外，还需要进行变量与缓存的配置，其中，DOCKER_REGISTRY_CREDENTIALS_ID的值为步骤2）中生成的凭据ID。
3、容器服务TKE
容器服务TKE主要用于创建集群，并拉取TCR中的镜像创建工作负载，部署业务应用，对外提供服务（详细文档）。
1）创建TKE集群
根据官网的指引（详细文档）创建TKE集群，根据实际需求选择节点数量，配置安全组等。创建集群成功后，在云服务器控制台可以看到创建了相应的节点服务器（这里创建时选择了两个节点）。
2）安装TCR插件
在TKE集群中通过使用TCR插件，能够实现内网免密拉取企业版实例内容器镜像（详细文档）。但是需要TKE集群和TCR部署在同一个地域，并且在容器镜像服务 -> 访问管理 -> 内网访问中需要已经创建好了私有网络VPC，具体见上文步骤。
在组件管理中，点击新建，选择TCR容器镜像服务插件，并勾选“使用TCR插件为集群配置关联实例内网访问链路的自动解析”。
创建成功后，会在命名空间tcr-assistant-system下，自动创建名称为tcr-assistant-controller-manager的Deployment和名称为tcr-assistant-webhook-service的Service。
同时，在容器镜像服务 -> 实例列表 -> 实例 -> 访问凭证中也可以看到生成了TKE集群的专用访问凭据。
3）创建工作负载
点击工作负载 -> Deploment -> 新建，创建工作负载（详细文档）。
设置工作负载的名称和命名空间。
设置实例内容容器的名称、镜像仓库、镜像版本、镜像拉取策略和实例数量。由于这里创建的TKE集群包含了2个节点，所以创建了2个pod实例，可以根据实际情况进行设置。
访问设置，由于下文中需要通过负载均衡CLB转发流量到Node，因此这里采用了主机端口访问的方式（详细文档）。在端口映射中，由于这里希望向外提供服务的端口为80，而容器内nginx服务的端口为80，因此需要将对外服务的端口和nginx服务的端口进行映射。
创建成功后，可以看到pod实例已经成功运行，通过实例所在节点IP，可以看到pod实例运行在哪个节点上。同时，在服务与路由 -> Servide中，也可以看到在对应命名空间下生成了对应的Service。
创建好工作负载后，如果登录到节点所在的云服务器上，通过kubectl get pod -o wide查看，也可以看到pod正常运行在云服务器中。
4、负载均衡CLB
负载均衡CLB能够提供安全快捷的流量分发服务，访问流量经由CLB可以自动分配到多台云服务器上。当某台云服务器发生故障时，CLB能够将流量调度到正常的节点，从而使得服务不会发生中断（详细文档）。
1）创建负载均衡实例
2）配置监听器和规则
点击新建HTTP/HTTPS监听器，选择需要监听的端口号，创建监听器。
创建好监听器后，还需要配置转发规则，这里需要输入域名（支持IPV4地址）、URL路径和均衡方式等信息。若选择输入域名，域名需要和该CLB的VIP已经进行了绑定。
配置好转发规则后，需要进行绑定后端服务绑定，这里选择的云服务器为TKE集群中的节点，端口就是在TKE集群创建工作负载时生成的Service的主机端口。Service的主机端口可以在容器服务 -> 集群 -> 服务与路由 -> Service中查看。
配置完上述步骤之后，通过域名加端口号，就可以访问到web服务了。此外，如果服务是需要通过https访问的，还需要设置443端口的监听，并将http服务重定向到https服务，具体操作可以查看官方文档。
5、遇到的问题
问题一：当本地推送代码到CODING仓库后，交付流水线成功执行，但是集群的pod在更新时一直处于pending状态，重新访问页面不能看到更新。
原因：TKE集群默认采用滚动更新方式更新（只有新的pod运行成功，才会终止原来的pod），这里主要是因为节点的内存不足，所以无法完成pod更新。
解决方法：因为集群节点运行时K8S自身相关组件会占用一部分系统资源，所以在创建集群节点时配置不能太低。
问题二：当本地推送代码到CODING仓库后，交付流水线成功执行，但是集群对应的pod没有触发更新（即上图页面中一直只有旧的pod处于Running状态）。
原因：每次向镜像仓库推送镜像时不要使用相同的tag，对于同名的tag，会认为是同一个镜像，所以集群不会进行更新。
解决方法：在Jenkinsfile中构建镜像时可以使用CI_BUILD_NUMBER变量进行版本标记，这样每次构建镜像时镜像的tag都会不同。
sh "docker build -t vue-web.tencentcloudcr.com/vue/image:${env.GIT_LOCAL_BRANCH}-${env.CI_BUILD_NUMBER} -f ./deploy/Dockerfile ."
问题三：TKE集群创建工作负载后，怎么验证pod已经在节点上正常运行
解决方法： 方法1：可以在云服务器控制台找到服务器的公网ip，通过NodePort访问web服务是否能够正常访问
方法2：找到集群节点对应的云服务器，登录云服务器，通过运行kubectl get pod -o wide查看pod是否正常运行
问题四：负载均衡CLB能够提供流量分发服务，当其中一个节点发生故障时，能够将流量转发到正常节点，但是实现过程中，总共包括两个节点，将其中一个集群节点关机，发现web服务会中断几分钟才能访问，并且CLB对两个节点的健康检查状态都是异常（正常应该是服务不会中断，并且一个节点正常，一个节点异常）。
原因：TKE集群创建的工作负载pod实例数量小于节点数量，比如有两个集群节点，但是只创建了一个pod，这个时候pod只会运行在其中一个节点中，因此，当关机的节点刚好就是pod运行的那个节点时，需要花一些时间在另一个节点上重新创建并运行pod，pod启动成功后，CLB才会将流量调度到该节点，因此中间会有几分钟不能方法。
解决方法：TKE集群在创建pod实例时，有多少节点就应该创建至少多少个pod，比如上面创建了2个节点，就创建两个pod，并且设置反亲和性，这样能够保证每个节点至少运行一个pod，当其中一个节点发生故障时，CLB能够快速将流量转发到正常节点，不会中断服务。
问题五：开发时通常会有很多个环境，需要创建不同的镜像仓库，怎么修改Jenkinsfile才能自动根据当前分支推送镜像到对应的镜像仓库
解决方法：假设现在有develop，test和master三个不同环境，并且对应三个不同镜像仓库，可以在Jenkinsfile加入下面代码
stage('构建镜像') {
steps {
echo '构建镜像...'
script {
switch(env.GIT_LOCAL_BRANCH) {
case 'develop':
sh "docker build -t vue-web.tencentcloudcr.com/vue/image-develop:${env.GIT_LOCAL_BRANCH}-${env.CI_BUILD_NUMBER} -f ./deploy/Dockerfile ."
break
case 'test':
sh "docker build -t vue-web.tencentcloudcr.com/vue/image-test:${env.GIT_LOCAL_BRANCH}-${env.CI_BUILD_NUMBER} -f ./deploy/Dockerfile ."
break
case 'master':
sh "docker build -t vue-web.tencentcloudcr.com/vue/image-master:${env.GIT_LOCAL_BRANCH}-${env.CI_BUILD_NUMBER} -f ./deploy/Dockerfile ."
break
}
}
echo '构建镜像'
}
}
}
当完成上面的所有步骤之后，只要我们推送代码到CODING仓库，就能够自动执行代码构建、镜像构建、推送镜像和更新TKE集群工作负载等步骤。当我们重新访问页面时，就可以看到线上环境已经自动更新啦~
