Jenkins+K8S流水线自动化部署Java程序
一、首先需要搭建好k8s集群以及在k8s集群中部署好Jenkins，这里就不做详细介绍如何搭建k8s集群和在k8s集群中部署Jenkins，（具体过程可以参考之前文章进行部署）
1、这里我使用公有GitHub作为代码仓库，首先需要将GitHub代码仓库以及harbor镜像仓库账户和密码在Jenkins添加上；（我这里是之前已经添加上了，如果没有点击凭据进行添加即可）
、
2、我们需要将代码上传到代码仓库，这里我使用rocketMQ-console为例，
1.我们先将源码克隆本地：
git clone https://github.com/apache/rocketmq-externals.git
2.进入源码目录
[root@k8s-master]# cd /usr/local/src/rocketmq-externals
[root@k8s-master rocketmq-externals]# ll -a
里面有一个.git隐藏文件：
3.进入.git文件编辑config配置文件：vim config
4.将源码上传到你自己GitHub仓库中；
git remote add origin https://github.com/houyi199208/rocketmq-console.git
git push -u origin master 这里master是分支
git push origin --tag 或者打tag号
执行完成后登陆自己代码仓库查看是否上有相关源码
3、上面工作做好后我们接下在Jenkins上面创建第一个Java项目流水线
注意：
如果没有参数化构建选项，需要安装插件：
安装pipeline参数化构建插件
Jenkins中-->系统管理--->管理插件--->可选插件--->搜索extended choice parameter---->点击直接安装
4、编辑pipeline脚本
node("slave") { env.registry="192.168.111.161" //harbor地址 env.image="${registry}/${MODULE}/${APP_NAME}:${TAG}" //生成的镜像名称 if ( Operation == 'Deploy' ) { stage('Get code'){ checkout([$class: 'GitSCM', branches: [[name: "${TAG}"]], doGenerateSubAPP_NAMEConfigurations: false, userRemoteConfigs: [[credentialsId: 'github', url: ' https://github.com/houyi199208/rocketmq-console.git']]]) //根据TAG号拉取代码 } stage('Build code') { sh "pwd" sh "mvn clean package -Dmaven.test.skip=true -f rocketmq-console/pom.xml" //编译代码 sh ''' cat >Dockerfile<<EOF FROM openjdk:8u232 RUN echo "ZONE=Asia/Shanghai" >/etc/timezone COPY rocketmq-console/target/${APP_NAME}-ng-1.0.0.jar /opt/app/${MODULE}/${APP_NAME}/ WORKDIR /opt/app/${MODULE}/${APP_NAME}/ ENTRYPOINT ["java","-jar","${APP_NAME}-ng-1.0.0.jar"] ''' //制作Dockerfile } stage('mk image & push image'){ withCredentials([usernamePassword(credentialsId: 'harbor', passwordVariable: 'harborpasswd', usernameVariable: 'harboruser')]) { sh "docker login ${env.registry} -u ${harboruser} -p ${harborpasswd}" sh "docker build -t ${registry}/${MODULE}/${APP_NAME}:${TAG} -f ./Dockerfile . && docker push ${registry}/${MODULE}/${APP_NAME}:${TAG}" } } stage('Deploy'){ sh "sed -e 's/APP_NAME/${APP_NAME}/g' -e 's/MODULE/${MODULE}/g' -e 's%IMAGE%${env.image}%g' -e 's/PORT/${PORT}/g' ../k8s/deploy-template.yml >../k8s/${MODULE}/${APP_NAME}-deploy.yml " //根据选项参数的值对部署文件进行替换 get_ns = sh returnStatus: true, script: "kubectl get ns ${MODULE}" echo "${get_ns}" if ( get_ns != 0 ){ sh "kubectl create ns ${MODULE}" } sh "kubectl apply -f ../k8s/${MODULE}/${APP_NAME}-deploy.yml --record=true" } }else if ( Operation == 'Rollback' ) { stage('Rollback Previous Version'){ sh "kubectl describe deployment ${APP_NAME} -n mq-console |grep -w 'Image:'" sh "kubectl rollout undo deployment ${APP_NAME} -n ${MODULE} " sh "kubectl describe deployment ${APP_NAME} -n mq-console |grep -w 'Image:'" } } }
5、后续准备工作
找到jenkins-slave的workspace目录，目录和文件是和pipeline配套的
[root@master workspace]# pwd
/data/jenkins-slave/workspace
[root@master workspace]# mkdir k8s && cd k8s
[root@master k8s]# mkdir mq-console #创建项目部署文件保存目录
[root@master k8s]# ls #deploy-template.yml是通用模板，修改后部署对应的项目
deploy-template.yml mq-console
[root@master k8s]# chmod o+w -R ./ #jenkins-slave默认用户是Jenkins，没有权限操作，后续创建的其他项目也需要关注权限问题，这个版本先用o+w解决
查看节点标签
[root@master k8s]# kubectl get node --show-labels
给调度的节点打标签
[root@master k8s]# kubectl label nodes node01 app=mq-console
6、模板文件（这里面所有的变量都是使用Jenkins上面定义的参数）
[root@master k8s]# cat deploy-template.yml
apiVersion: apps/v1 kind: Deployment metadata: name: APP_NAME namespace: MODULE spec: selector: matchLabels: app: APP_NAME replicas: 1 template: metadata: labels: aliyun.logs.APP_NAME: stdout app: APP_NAME spec: imagePullSecrets: - name: regsecret #拉取镜像的secret，不同名称空间需要单独创建 hostNetwork: true nodeSelector: app: test-MODULE terminationGracePeriodSeconds: 60 restartPolicy: Always containers: - name: APP_NAME image: IMAGE imagePullPolicy: IfNotPresent resources: requests: memory: "1Gi" cpu: "0.5" limits: memory: "2Gi" cpu: "8" env: - name: aliyun_logs_APP_NAME value: "stdout" livenessProbe: tcpSocket: port: PORT initialDelaySeconds: 120 periodSeconds: 20 successThreshold: 1 failureThreshold: 2 volumeMounts: - name: logs mountPath: /opt/logs/ - name: time mountPath: /etc/localtime volumes: - name: logs hostPath: path: /opt/logs/ #应用日志输出位置，根据应用进行调整，项目中规定的是/opt/logs，此次部署用不到，可以做参考 type: DirectoryOrCreate - name: time hostPath: path: /etc/localtime #挂载时区文件 --- apiVersion: v1 kind: Service metadata: name: APP_NAME labels: app: APP_NAME namespace: MODULE spec: selector: app: APP_NAME clusterIP: None # type: NodePort ports: - name: APP_NAME port: PORT targetPort: PORT # nodePort: PORT
7、以上部署没有问题就可以部署ingress了
[root@master mq]# cat mq-ingress.yaml
apiVersion: extensions/v1beta1 kind: Ingress metadata: annotations: kubernetes.io/ingress.class: nginx name: mq-ingess namespace: mq-console spec: rules: - host: mymq-ingress.com http: paths: - backend: serviceName: rocketmq-console servicePort: 8080 path: /
8、编辑完成ingress的yaml文件后执行：
[root@k8s-master k8s]# kubectl apply -f mq-ingress.yaml
[root@k8s-master k8s]# kubectl get ingress -nmq-console
NAME HOSTS ADDRESS PORTS AGE
mq-ingress mymq-ingress.com 192.168.111.163 80 142m
最后通过浏览器访问即可：
