k8s入坑之路（16）kubernetes中CICD/基于宿主机jenkins
cicd的结合组件
需要代码仓库如gitlab、github。包构建工具Maven等，持续集成工具如jenkins，github/cicd。结合自己脚本实现重复式任务自动化。
传统服务发布流程：
提交代码到仓库使用maven工具构建包，发布到指定服务器上（正式测试等），调用脚本或ansible执行发布。
传统存在问题：
传统服务常见的是通过负载均衡器更新单个服务测试好在挂载。需要部署多个环境，重复性操作。通过k8s可以把多个环境放置不同的namespace中，通过yaml文件去指定不同namespace，ingress-controller来控制不同域名。实现分流测试。
容器部署：
git提交代码maven构建，然后build镜像，将镜像push到私有库。k8s运行进行健康检查。多个环境只需构建一次即可。有不同环境相关东西，可以写入configmap中挂载进去，比如不同环境连接数据库，不要写死地址，通过环境变量去拿相应的地址。k8s传入需要的环境变量。上线后可以通过service version实现A B版本权重分流测试，或通过controller-ingress进行分流及AB版本测试。
环境安装：
宿主机环境安装git、maven、jenksion
jenkins 官网下载地址：jenkins.io
下载包后直接后台运行
nohup java -jar jenkins.war --httpPort=8081 &
进入jenkins后台
创建一个新的job
构建一个流水线pipeline管道
通过script去构建cicd
###通过点击右侧可以出现一个构建基本模板。更多语法可以参考pipeline语法。
定义Pipoline script
node { env.BUILD_DIR = "/root/build-workspace" #定义build目录 env.MODULE = "web-demo" #定义当前名称 env.HOST = "www.cswjh.com" #定义ingress 域名 stage('Preparation') { // for display purposes // Get some code from a GitHub repository git 'http://172.17.166.172/root/k8s-web-demo.git' #拷贝代码 } stage('maven build'){//build images sh "mvn -pl ${MODULE} -am clean package" #构建包 } stage('build images'){//build docker images sh "/root/script/build-image-web.sh" #执行build 及push脚本 } stage('Deplay'){//kubectl apply sh "/root/script/deploy.sh" #k8s部署 } }
build-image-web.sh
#!/bin/bash if [ ${BUILD_DIR} == "" ];then #判断jenkins 默认定义的变量 build目录是否生效 echo "env 'BUILD_DIR' is not set" exit 1 fi DOCKER_DIR=${BUILD_DIR}/${JOB_NAME} #在build目录下创建一个工作目录 工作目录以jenkins默认变量 name命名 echo "${DOCKER_DIR}" #输出当前docker 工作目录 if [ ! -d ${DOCKER_DIR} ];then #判断目录是否存在 不存在则建立 mkdir -p ${DOCKER_DIR} fi echo "docker workspace: ${DOCKER_DIR}" #docker 工作目录 JENKINS_DIR=${WORKSPACE}/${MODULE} #定义jenksin目录 取jenksin默认变量 jenksion的工作目录下的预定义web-demo目录 echo "jenkins workspace: ${JENKINS_DIR}" #输出目录变量是否生效 if [ ! -f ${JENKINS_DIR}/target/*.war ];then #查看工作目录下 是否存在war包 无war包则退出 echo "target/*.war not found" exit 1 fi cd ${DOCKER_DIR} #跳转docker build 目录 rm -rf * #删除上个构建留下东西 unzip -oq ${JENKINS_DIR}/target/*.war -d ./ROOT #将war包解压到当前文件中 或使用docker 中 mv ${JENKINS_DIR}/Dockerfile . ##将jenksion web-demo工作目录下的Dockerfile 移动到docker build工作目录中 if [ -d ${JENKINS_DIR}/dockerfiles ];then #如果存在dockerfiles目录也移动到当前目录中 dockerfiles中包含了启动脚本文件 及前台运行命令 mv ${JENKINS_DIR}/dockerfiles . fi VERSION=$(date +%Y%m%d%H) #为镜像生成时间序列 IMAGE_NAME=172.17.166.217/kubenetes/${JOB_NAME}:${VERSION} #为镜像命名 以时间序列为版本号 echo "${IMAGE_NAME}" > ${WORKSPACE}/IMAGE #将镜像版本输入一个文件进行存储方便k8s .yaml取到 echo "building image:${IMAGE_NAME}" #输出images 信息 docker build -t ${IMAGE_NAME} . #构建dockerfile docker push ${IMAGE_NAME} #镜像上传到版本库中
deploy.sh
#!/bin/bash name=${JOB_NAME} #jenkins 当前job名称 image=$(cat ${WORKSPACE}/IMAGE) #镜像地址及名称 host=${HOST} #ingress 域名 echo "deploying ... name: ${name} ,image: ${image},host: ${host}" #查看当前变量是否生效 rm -f web.yaml #删除当前目录下web.yaml文件 cp $(dirname "${BASH_SOURCE[0]}")/template/web.yaml ./ #将模板文件导入到当前目录下 sed -i "s,{{name}},${name},g" web.yaml #替换模板文件中name名称 sed -i "s,{{image}},${image},g" web.yaml #替换模板文件中image 地址 sed -i "s,{{host}},${host},g" web.yaml #替换ingress中域名 kubectl apply -f web.yaml #执行kubernetes部署 cat web.yaml #查看文件是否定义成功 #健康检查 sleep 5 count=60 success=0 IFS="," #转换为数组 while [ ${count} -gt 0 ] do replicas=$(kubectl get deployments.apps ${name} -o go-template='{{.status.replicas}},{{.status.updatedReplicas}},{{.status.readyReplicas}},{{.status.availableReplicas}}') #查看当前replicas数值 echo "replicas: ${replicas}" arr=(${replicas}) if [ "${arr[0]}" == "${arr[1]}" -a "${arr[1]}" == "${arr[2]}" -a "${arr[2]}" == "${arr[3]}" ];then #查看replicas各项数值是否相等 echo "health check success" success=1 break fi ((count--)) sleep done if [ ${success} -ne 1 ];then echo "health check failed" exit 1 fi
apiVersion: apps/v1 kind: Deployment metadata: name: {{name}} spec: selector: matchLabels: app: {{name}} replicas: 4 template: metadata: labels: app: {{name}} spec: containers: - name: {{name}} image: {{image}} ports: - containerPort: 8080 --- #service apiVersion: v1 kind: Service metadata: name: {{name}} spec: ports: - port: 80 protocol: TCP targetPort: 8080 selector: app: {{name}} type: ClusterIP --- #ingress apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: {{name}} spec: rules: - host: {{host}} http: paths: - pathType: Prefix path: / backend: service: name: {{name}} port: number: 80
github安装
# GitLab Server 的搭建 参考 https://about.gitlab.com/installation ## 1. 准备工作 以Centos7为例，准备一台至少内存为4G的机器。 ## 2. 安装依赖软件 ``` sudo yum install -y git vim gcc glibc-static telnet sudo yum install -y curl policycoreutils-python openssh-server sudo systemctl enable sshd sudo systemctl start sshd sudo yum install postfix sudo systemctl enable postfix sudo systemctl start postfix ``` ## 3. 设置gitlab安装源 如果在国内的话，可以尝试使用清华大学的源。 新建 /etc/yum.repos.d/gitlab-ce.repo，内容为 ``` [gitlab-ce] name=Gitlab CE Repository baseurl=https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el$releasever/ gpgcheck=0 enabled=1 ``` 如果在国外的话，可以使用 ``` curl https://packages.gitlab.com/install/repositories/gitlab/gitlab-ee/script.rpm.sh | sudo bash ``` ## 4. 安装GitLab 关于域名，如果要是设置域名，则如下，这个域名可以是真实购买的域名，如果您要把gitlab安装到公网比如阿里云上的话。 如果只是想本地测试，则可以像下面一样，设置一个example的域名，然后记得在本地你的笔记本设置host，如果是MAC就在 /etc/hosts里添加 一行 `192.168.211.10 gitlab.example.com` ``` sudo EXTERNAL_URL="http://gitlab.example.com" yum install -y gitlab-ce ``` 如果不想设置域名，或者想将来再考虑，可以直接 ``` sudo yum install -y gitlab-ce ``` 安装完成以后，运行下面的命令进行配置 ``` sudo gitlab-ctl reconfigure ``` ## 5. 登陆和修改密码 打开http://gitlab.example.com/ 修改root用户密码，然后使用root和新密码登陆。 
