Centos7 k8s v1.5.2二进制部署安装-交付jenkins到k8s集群
一、部署前准备
1、下载jenkins
首先下载jenkins镜像并上传到我们自己的私有仓库：24
docker pull jenkins/jenkins:2.190.3 docker tag 22b8b9a84dbe harbor.od.com/public/jenkins:v2.190.3 docker push harbor.od.com/public/jenkins:v2.190.3
为了适应我们的环境，我们的jenkins不能直接使用，需要进行配置：
mkdir -p /data/dockerfile/jenkins/ cd /data/dockerfile/jenkins vi Dockerfile FROM harbor.od.com/public/jenkins:v2.190.3 #定义启动jenkins的用户 USER root #修改时区 改成东八区 RUN /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime &&\ echo 'Asia/Shanghai' >/etc/timezone #加载用户密钥，dubbo服务拉取代码使用的ssh ADD id_rsa /root/.ssh/id_rsa #加载宿主机的docker配置文件,登录远程仓库的认证信息加载到容器里面。 ADD config.json /root/.docker/config.json #在jenkins容器内安装docker 客户端,jenkins要执行docker build,docker引擎用的是宿主机的docker引擎 ADD get-docker.sh /get-docker.sh #跳过 ssh时候输入 yes 步骤,并执行安装docker RUN echo " StrictHostKeyChecking no" >> /etc/ssh/ssh_config &&\ /get-docker.sh
首先创建密钥：邮箱请根据自己的邮箱自行修改
ssh-keygen -t rsa -b 2048 -C "xxx@xx.xxx" -N "" -f /root/.ssh/id_rsa
将私钥加载到jenkins，将公钥配置到git仓库中，否则不能拉取代码：
接下来创建Dockerfile中需要的文件：
curl -fsSL get.docker.com -o get-docker.sh
添加执行权限：
chmod u+x get-docker.sh cp /root/.ssh/id_rsa ./ cp /root/.docker/config.json ./
2、创建运维私有仓库，打开我们的harbor.od.com创建一个infra的私有仓库：
3、然后build镜像
docker build . -t harbor.od.com/infra/jenkins:v2.190.3
4、build完以后将镜像上传到我们的私有仓库：
docker push harbor.od.com/infra/jenkins:v2.190.3
5、为jenkins创建名称空间
kubectl create ns infra
创建一条secret，用于访问我们的私有仓库infra：
kubectl create secret docker-registry harbor --docker-server=harbor.od.com --docker-username=admin --docker-password=Harbor12345 -n infra
解释一下上面的命令：创建一条secret，资源类型是docker-registry，名字是 harbor，docker-server=harbor.od.com ，docker-username=admin ，docker-password=Harbor12345 -n 指定私有仓库名称infra
二、安装部署nfs
为了让jenkins中一些需要持久化的数据，能够存储，我们需要使用共享存储，然后进行挂载：这里使用最简单的NFS共享存储，因为k8s默认支持nfs模块
1、在运维主机和所有的node节点安装
yum install nfs-utils -y
2、启动服务
systemctl start nfs
systemctl enable nfs
3、创建共享目录
mkdir -p /data/nfs-volume vi /etc/exports /data/nfs-volume 192.168.112.0/24(rw,no_root_squash) more /etc/exports
4、防火墙放开，我们这里是直接关闭了防火墙的
firewall-cmd --add-service=nfs --permanent --zone=public firewall-cmd --add-service=mountd --permanent --zone=public firewall-cmd --add-service=rpc-bind --permanent --zone=public firewall-cmd --reload 重新载入配置，使其生效
5、NFS客户端
systemctl start nfs
6、检查
showmount -e 192.168.112.24
7、创建挂在目录
mkdir -p /data/nfs-volume
8、挂在目录
mount -t nfs 192.168.112.24:/data/nfs-volume /data/nfs-volume
9、取消挂载，不用执行
umount 192.168.112.24:/data/nfs-volume
三、部署jenkins
1、准备jenkins资源配置清单
cd /data/k8s-yaml/
mkdir jenkins
cd jenkins
2、这里挂载了宿主机的docker.sock，使容器内的docker客户端可以直接与宿主机的docker引擎进行通信
在使用私有仓库的时候，资源清单中，一定要声明：
imagePullSecrets: - name: harbor vi dp.yaml kind: Deployment apiVersion: extensions/v1beta1 metadata: name: jenkins namespace: infra labels: name: jenkins spec: replicas: 1 selector: matchLabels: name: jenkins template: metadata: labels: app: jenkins name: jenkins spec: volumes: - name: data nfs: server: operations path: /data/nfs-volume/jenkins_home - name: docker hostPath: path: /run/docker.sock type: '' containers: - name: jenkins image: harbor.od.com/infra/jenkins:v2.190.3 imagePullPolicy: IfNotPresent ports: - containerPort: 8080 protocol: TCP env: - name: JAVA_OPTS value: -Xmx512m -Xms512m volumeMounts: - name: data mountPath: /var/jenkins_home - name: docker mountPath: /run/docker.sock imagePullSecrets: - name: harbor securityContext: runAsUser: 0 strategy: type: RollingUpdate rollingUpdate: maxUnavailable: 1 maxSurge: 1 revisionHistoryLimit: 7 progressDeadlineSeconds: 600 vim svc.yaml kind: Service apiVersion: v1 metadata: name: jenkins namespace: infra spec: ports: - protocol: TCP port: 80 targetPort: 8080 selector: app: jenkins vim ingress.yaml kind: Ingress apiVersion: extensions/v1beta1 metadata: name: jenkins namespace: infra spec: rules: - host: jenkins.od.com http: paths: - path: / backend: serviceName: jenkins servicePort: 80
3、应用资源配置清单：node节点
kubectl create -f http://k8s-yaml.od.com/jenkins/dp.yaml kubectl create -f http://k8s-yaml.od.com/jenkins/svc.yaml kubectl create -f http://k8s-yaml.od.com/jenkins/ingress.yaml
查看我们创建的pod：这个启动时间还是挺长的，大概要几分钟时间
kubectl get pod -n infra
检查jenkins需要持久化的数据是否保存下来了
4、 添加解析：
vi /var/named/od.com.zone jenkins A 192.168.112.10 systemctl restart named
5、浏览器访问：http://jenkins.od.com
选择安装推荐的插件
进入安装页面，静静等待，安装完成，创建一个管理员
配置实例，jenkins路径为默认的，然后点击保存并完成。
6、安全配置：
