kubernetes部署jenkins(Docker in Docker)及认证
引言
Jenkins是一款开源 CI&CD 软件，用于自动化各种任务，包括构建、测试和部署软件。
本文将Jenkins的master与slave置于Pod中，部署在namespace:jenkins下，jenkins slave 构建时，启动slave运行代码克隆，项目构建，镜像构建，上传仓库等一系列命令。构成完成以后删除pod。也就是Docker In Docker
可直接使用本文提供的编排文件构建Jenkins，有通过helm管理kubernetes组件的，可使用本文提供的char。
️搭建不是关键，关键是趟坑。
一、Jenkins搭建
1. helm安装
请查看作者之前的文章《kubernetes搭建Harbor无坑及多中心Harbor仓库同步》中helm搭建部分
2. Jenkins搭建
git clone https://github.com/yuenandi/Jenkins.git
这是作者从https://github.com/helm/charts.git单独拿出的，由于国内helm的Jenkins资源版本过低，没有选择使用，便clone了1.6版本。整个git项目过大，很容易clone失败，也浪费了一些时间找办法轻量的下载，为了给小伙伴提供些方便，直接用我git的就好。
直接通过helm安装Jenkins
kubectl create -f jenkins-pv.yaml
helm install . --debug --namespace jenkins --name jenkins
或
运行helm生成jenkins.yaml，生成后删除jenkins.yaml中无用的部分（不知道有没有更聪明的办法用来生成编排文件）
helm install . --debug --dry-run -n jenkins --namespace jenkins --name jenkins |sed 'w jenkins.yaml'
kubectl create -f jenkins-pv.yaml
kubectl create -f jenkins.yaml
查看service/LoadBalancer的NodePort，kubectl get svc -n jenkins，也可以设置helm的value.yaml，创建ingress来访问，很简单就不阐述了
访问http://masterIp:43563如图：
3. kubernetes插件设置
Manage Jenkins ->Configure System->Cloud->kubernetes
3.1. 非kubernetes部署jenkins，通过以下认证（通过本文搭建直接查看3.2. 部分）：
1. Kubernetes 地址：
- 如果Jenkins Master部署在Kubernetes之外，则输入Kubernetes Master API Server URL，可运行kubectl cluster-info获得Kubernetes Master API Server URL
- 本文是部署在Kubernetes上，则输入Kubernetes域名方式，格式https://
. .svc. ，比如https://kubernetes.default.svc.cluster.local，或短名称https://kubernetes.default
Kubernetes 服务证书 key：将kubernetes的ca.crt的内容填写到jenkins kubernetes的Kubernetes server certificate key栏中。
️本文Jenkins Master运行在Kubernetes上可跳过此步
生成ca.crt文件，若知道kubernetes的ca.crt位置，不用创建
在Kubernetes Master上，cd ~/.kube/config，运行以下命令生成Kubernetes server certificate key，并保存在ca.crt文件中：
echo "<certificate-authority-data>" | base64 -d > ca.crt
2. 凭据：生成cert.pfx上传到jenkins
️本文Jenkins Master运行在Kubernetes上可跳过此步
- 生成Kubernetes Client P12 Certificate File
在Kubernetes Master上，cd~/.kube/config：# 复制client-certificate-data的内容，运行以下命令生成client.crt echo "<client-certificate-data>" | base64 -d > client.crt] # 复制client-key-data的内容，运行以下命令生成client.key echo "<client-key-data>" | base64 -d > client.key # 根据前面步骤生成的ca.crt, client.crt和client.key来生成PKCS12格式的cert.pfx # 以下命令运行时，需要输入4位以上的密码 openssl pkcs12 -export -out cert.pfx -inkey client.key -in client.crt -certfile ca.crt将生成的Kubernetes Client P12 Certificate Filecert.pfx复制到Jenkins Master服务器上，比如复制到/var/lib/jenkins/kubernetes_cert/cert.pfx
- 在Jenkins上配置Kubernetes Credential
- 在Jenkins上增加一个Credential，选择类型为Certificate
- 选择“From a PKCS#12 file on Jenkins master”，输入上面生成的cert.pfx文件在Jenkins Master服务器上的路径，比如/var/lib/jenkins/kubernetes_cert/cert.pfx。
- 输入生成cert.pfx文件时输入的密码
- 输入一个有意义的ID，比如kubernetes-cluster
- 输入有意义的Description
3.2. 安装本文kubernetes部署jenkins，通过以下认证
️若之后环境的Pod就在jenkins本环境，不用给予cluster-admin的权限
#授予serviceaccount 权限，Jenkins对kube-apiserver 其他namespace的权限认证
kubectl create clusterrolebinding jenkins --clusterrole cluster-admin --serviceaccount=jenkins:jenkins
3.3. jenkins地址设置
由于不是同一namespace下通过域名访问
- Jenkins 地址：
http://jenkins.jenkins.svc.cluster.local:8080 - Jenkins 通道：
jenkins-agent.jenkins.svc.cluster.local:50000
3.3. 设置kubernetes Pod Template
最后apply，save
4. Freestykle project
️简单测试以下，后续发pipeline的使用，从git->jenkins->kuberbetes流水线可先查看Kubernetes+Gitlab+Jenkins构建镜像并创建Pod 还是很详细的。
4.1. 创建slave
save or apply
4.2. 启动slave
️如果报错查看4.3.
项目创建成功
slave的Pod
slave的日志
jenkins的日志
️jnlp-slave会将项目代码进行拷贝、打包镜像、上传仓库等等一系列任务，我们可以通过命令定制（本文没有进行任何操作），任务结束后，pod删除，主机消失，在console output 会看到执行结果：
可以看到我们之前输出命令也打印了出来
4.3. 我遇到的报错处理
jnlp-slave pod创建失败，会一直重新创建，查看pod日志，发现是连接不上jenkins，jenkins日志如下：
- 抛 java.nio.channels.ClosedChannelException 异常的原因是 Jenkins Slave Pod 在 Jenkins Job 运行时突然挂掉，然后 Master Pod 无法和 Slave Pod 进行通信。那么解决方法就是找到 Slave Pod 经常挂掉的原因，经排查是 Slave Pod 的资源限制不合理，配置的 CPU 和内存太小，导致 Pod 在运行是很容易超出资源限制，然后被 k8s Kill 掉。️也可能是域名或认证没有配置好，具体需要看jnlp-slave和jenkins的日志
- 解决方法
打开 Jenkins 设置 Slave Pod 模版的资源限制：
Jenkins->系统管理->系统设置->云->镜像->Kubernetes Pod Template->Container Template->高级，然后根据实际情况调整 CPU 和内存需求。
文中没有提及的问题，可评论笔者
！！！手码不易，对您有帮助的话，给个赞呦，且有更多k8s相关文案！！！
