基于 Kubernetes/K8S 构建 Jenkins 持续集成平台

Jenkins-Master-Slave 架构图回顾：

安装和配置 NFS

NFS简介

NFS（Network File System），它最大的功能就是可以通过网络，让不同的机器、不同的操作系统可以共享彼此的文件。我们可以利用NFS共享Jenkins运行的配置文件、Maven的仓库依赖文件等

NFS安装

我们把 NFS 服务器安装在 master 192.168.10.90 服务器上

（1）安装NFS服务（在所有K8S的节点都需要安装）

yum install -y nfs-utils

（2）创建共享目录

mkdir -p /opt/nfs/jenkins

vim /etc/exports   #编写NFS的共享配置
/opt/nfs/jenkins *(rw,no_root_squash)    #*代表对所有IP都开放此目录，rw是读写

（3）启动服务

systemctl enable nfs    #开机启动
systemctl start nfs     #启动

（4）查看 NFS 共享目录

showmount -e 192.168.10.90

在 Kubernetes 安装 Jenkins-Master

创建NFS client provisioner

nfs-client-provisioner 是一个Kubernetes的简易NFS的外部provisioner，本身不提供NFS，需要现有的NFS服务器提供存储。

（1）上传nfs-client-provisioner构建文件

其中注意修改 deployment.yaml，使用之前配置NFS服务器和目录

vim deployment.yaml

（2）构建nfs-client-provisioner的pod资源

cd nfs-client
kubectl create -f .

（3）查看pod是否创建成功

kubectl get pods

安装 Jenkins-Master

（1）上传Jenkins-Master构建文件

其中有两点注意：

第一、在StatefulSet.yaml文件，声明了利用nfs-client-provisioner进行Jenkins-Master文件存储

第二、Service发布方法采用NodePort，会随机产生节点访问端口

（2）创建kube-ops的namespace

因为我们把Jenkins-Master的pod放到kube-ops下

kubectl create namespace kube-ops

（3）构建Jenkins-Master的pod资源

cd jenkins-master
kubectl create -f .

（4）查看pod是否创建成功

kubectl get pods -n kube-ops

（5）查看信息，并访问

查看Pod运行在那个Node上

kubectl describe pods -n kube-ops

查看分配的端口

kubectl get service -n kube-ops

查看Pod在哪个节点上运行（用该节点的ip+端口访问浏览器）

kubectl get pods --namespace kube-ops -o wide

（6）浏览器访问

最终访问地址为：http://192.168.10.100:31881/ （192.168.10.100 为 k8s-node1的 IP）

安装过程跟之前是一样的！

找到密钥复制粘贴

/opt/nfs/jenkins/kube-ops-jenkins-home-jenkins-0-pvc-f3e2aa49-5a83-48ba-a308-a4eb56296648/secrets
ls

cat initialAdminPassword

选择插件来安装 --> 无 --> 安装

Kubernetes 中 Jenkins 部署完成！！！

（7）设置插件下载地址

cd /opt/nfs/jenkins/
ls
cd kube-ops-jenkins-home-jenkins-0-pvc-f3e2aa49-5a83-48ba-a308-a4eb56296648/   #注意：这个目录每个人是不一样的，不要直接复制
ls
cd updates/
ls

sed -i 's/http:\/\/updates.jenkins- ci.org\/download/https:\/\/mirrors.tuna.tsinghua.edu.cn\/jenkins/g' default.json && sed -i 's/http:\/\/www.google.com/https:\/\/www.baidu.com/g' default.json

Manage Jenkins --> Manage Plugins --> Advanced --> Update Site 改为国内插件下载地址

https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json

提交后重启 Jenkins

（8）先安装基本的插件

Localization:Chinese
Git
Pipeline
Extended Choice Parameter

　　安装完成后重启 Jenkins

Jenkins 与 Kubernetes 整合

安装 Kubernetes 插件

系统管理 --> 插件管理 --> 可选插件

实现 Jenkins 与 Kubernetes 整合

系统管理 --> 系统配置 --> 云 --> 新建云 --> Kubernetes

kubernetes 地址采用了 kube 的服务器发现：

https://kubernetes.default.svc.cluster.local namespace填kube-ops，然后点击Test Connection，如果出现 Connection test successful 的提示信息证明 Jenkins 已经可以和 Kubernetes 系统正常通信

Jenkins URL 地址：http://jenkins.kube-ops.svc.cluster.local:8080

构建 Jenkins-Slave 自定义镜像

Jenkins-Master在构建Job的时候，Kubernetes 会创建Jenkins-Slave的Pod来完成Job的构建。我们选择运行Jenkins-Slave的镜像为官方推荐镜像：jenkins/jnlp-slave:latest，但是这个镜像里面并没有Maven 环境，为了方便使用，我们需要自定义一个新的镜像：

准备材料：

Dockerﬁle文件内容如下：

FROM jenkins/jnlp-slave:latest

MAINTAINER xxx

# 切换到 root 账户进行操作
USER root

# 安装 maven
COPY apache-maven-3.6.2-bin.tar.gz .

RUN tar -zxf apache-maven-3.6.2-bin.tar.gz && \
    mv apache-maven-3.6.2 /usr/local && \
    rm -f apache-maven-3.6.2-bin.tar.gz && \
    ln -s /usr/local/apache-maven-3.6.2/bin/mvn /usr/bin/mvn && \
    ln -s /usr/local/apache-maven-3.6.2 /usr/local/apache-maven && \
    mkdir -p /usr/local/apache-maven/repo

COPY settings.xml /usr/local/apache-maven/conf/settings.xml

USER jenkins

//构建镜像

docker build -t jenkins-slave-maven:latest .

构建出一个新镜像：jenkins-slave-maven:latest

登录 Harbor仓库、打标签、推送镜像到 harbor（ ip为 harbor仓库地址）

docker login -u admin -p Harbor12345 192.168.10.60:85
docker tag jenkins-slave-maven:latest 192.168.10.60:85/library/jenkins-slave-maven:latest
docker push 192.168.10.60:85/library/jenkins-slave-maven:latest

刷新 harbor 网页

测试 Jenkins-Slave 是否可以创建

（1）创建一个 Jenkins 流水线项目

新建 item: test_jenkins_slave

进入配置页面后不做任何配置点击应用保存

要先去配置凭证：

系统管理 --> Manage Credential --> 全局 --> 添加凭据

回到项目 test_jenkins_slave --> 配置

checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: 'fc0fab00-287d-4803-aba2-42ee7714028a', url: 'http://192.168.10.10:82/xxx_group/tensquare_back.git']]])

def git_address = "http://192.168.10.10:82/xxx_group/tensquare_back.git" 
def git_auth = "fc0fab00-287d-4803-aba2-42ee7714028a"

//创建一个Pod的模板，label为jenkins-slave
podTemplate(label: 'jenkins-slave', cloud: 'kubernetes', containers: [ 
    containerTemplate(
        name: 'jnlp',
        image: "192.168.10.60:85/library/jenkins-slave-maven:latest"
    )
  ]
)
{
    //引用jenkins-slave的pod模块来构建Jenkins-Slave的pod 
    node("jenkins-slave"){
        stage('拉取代码'){
            checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: "${git_address}"]]])
        }
    }
}

（2）编写 Pipeline，从GItlab拉取代码（使用http方式）

再启动一个 Jenkins 终端，

构建前的节点列表：

（3）构建项目 test_jenkins_slave

构建中，刷新状态

构建完成后，刷新状态

小结：

底层跑的是 k8s，在 k8s 基础之上建立的 Jenkins，而 Jenkins 完成里面当中的 devops 的CI/CD一整套持续性交互集成：从代码拉取、代码检查、编译打包、镜像制作、镜像上传、拉取镜像、应用发布，这些个工作全部交给 slave 去完成，而不是 master 工作，slave 完成工作后会自动销毁，不占用资源。

posted @ 2022-03-09 03:54 DoYouWantMore 阅读(719) 评论(0) 编辑收藏举报

刷新页面返回顶部