基于KubernetesK8S构建Jenkins持续集成平台(孤独来自生命中那些重要的人, 他们的影子扎根在旧时光, 笑容不知道去了何方。)

基于Kubernetes/K8S构建Jenkins持续集成平台(上)
Jenkins的Master-Slave分布式构建
什么是Master-Slave分布式构建
 
Jenkins的Master-Slave分布式构建，就是通过将构建过程分配到从属Slave节点上，从而减轻Master节   点的压力，而且可以同时构建多个，有点类似负载均衡的概念。
 
如何实现Master-Slave分布式构建
1） 开启代理程序的TCP端口
Manage Jenkins -> Configure Global Security
 

 

2） 新建节点
Manage Jenkins—Manage Nodes—新建节点

 

/root/jenkins

 

这个下载的jar包需要传递到从节点服务器上

 

从节点192.168.195.200/24
先安装git环境
yum install git -y 
 

 

执行安装成功
回到主节点查看状态

 

进行项目测试

 

 

 
配置运行节点slave1

 

直接构建

 

 

 
在slave1服务器/root/jenkins上查看项目代码拉取

 

 

 
使用流水线项目

 

脚本：
node('slave1') {
 
    stage('pull code') {
        
        checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: '1be38991-873b-4a68-8eb6-312347fdc0a4', url: 'git@192.168.195.180:kgc_group/tensquare_back.git']]])
    }
}
构建成功

 

 

 
Kubernetes实现Master-Slave分布式构建方案
传统Jenkins的Master-Slave方案的缺陷
Master节点发生单点故障时，整个流程都不可用了
每个 Slave节点的配置环境不一样，来完成不同语言的编译打包等操作，但是这些差异化的配置导致管理起来非常不方便，维护起来也是比较费劲
资源分配不均衡，有的 Slave节点要运行的job出现排队等待，而有的Slave节点处于空闲状态
资源浪费，每台 Slave节点可能是实体机或者VM，当Slave节点处于空闲状态时，也不会完全释放掉资源
以上种种问题，我们可以引入Kubernates来解决！
 
Kubernates简介
Kubernetes（简称，K8S）是Google开源的容器集群管理系统，在Docker技术的基础上，为容器化的   应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的  便捷性。 其主要功能如下：
使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run)。
以集群的方式运行、管理跨机器的容器。以集群的方式运行、管理跨机器的容器。  解决Docker跨机器容器之间的通讯问题。解决Docker跨机器容器之间的通讯问题。Kubernetes的自我修复机制使得容器集群总是运行在用户期望的状态。
 
Kubernates+Docker+Jenkins持续集成架构图

 

大致工作流程：手动/自动构建 -> Jenkins 调度 K8S API -＞动态生成 Jenkins Slave pod -＞ Slave pod 拉取 Git 代码／编译／打包镜像 -＞推送到镜像仓库 Harbor -＞ Slave 工作完成，Pod 自动销毁 -＞部署到测试或生产 Kubernetes平台。（完全自动化，无需人工干预）
 
Kubernates+Docker+Jenkins持续集成方案好处
服务高可用：当 Jenkins Master 出现故障时，Kubernetes 会自动创建一个新的 Jenkins Master
容器，并且将 Volume 分配给新创建的容器，保证数据不丢失，从而达到集群服务高可用。
动态伸缩，合理使用资源：每次运行 Job 时，会自动创建一个 Jenkins Slave，Job 完成后，Slave 自动注销并删除容器，资源自动释放，而且 Kubernetes 会根据每个资源的使用情况，动态分配Slave 到空闲的节点上创建，降低出现因某节点资源利用率高，还排队等待在该节点的情况。
扩展性好：当 Kubernetes 集群的资源严重不足而导致 Job 排队等待时，可以很容易的添加一个
Kubernetes Node 到集群中，从而实现扩展。
 
Kubeadm安装Kubernetes
Kubernetes的架构
API  Server：用于暴露Kubernetes  API，任何资源的请求的调用操作都是通过kube-apiserver提供的接口进行的。
Etcd：是Kubernetes提供默认的存储系统，保存所有集群数据，使用时需要为etcd数据提供备份计    划。
Controller-Manager：作为集群内部的管理控制中心，负责集群内的Node、Pod副本、服务端点
（Endpoint）、命名空间（Namespace）、服务账号（ServiceAccount）、资源定额
（ResourceQuota）的管理，当某个Node意外宕机时，Controller Manager会及时发现并执行自动化修复流程，确保集群始终处于预期的工作状态。
Scheduler：监视新创建没有分配到Node的Pod，为Pod选择一个Node。
 
Kubelet：负责维护容器的生命周期，同时负责Volume和网络的管理
Kube proxy：是Kubernetes的核心组件，部署在每个Node节点上，它是实现Kubernetes Service的通信与负载均衡机制的重要组件。
 
安装环境说明
 
主机名称
IP地址
安装的软件
代码托管服务器
 
192.168.195.180
 
Gitlab-12.4.2
Docker仓库服务器
 
192.168.195.183
 
Harbor1.9.2
 
k8s-master
 
192.168.195.200
kube-apiserver、kube-controller-manager、kube- scheduler、docker、etcd、calico，NFS
k8s-node1
192.168.195.201
kubelet、kubeproxy、Docker18.06.1-ce
k8s-node2
192.168.195.202
kubelet、kubeproxy、Docker18.06.1-ce
 
 先装docker环境为基础
三台机器都需要完成
修改三台机器的hostname及hosts文件
hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node1
hostnamectl set-hostname k8s-node2
 
 
vim /etc/hosts
192.168.153.120 k8s-master
192.168.153.130 k8s-node1
192.168.153.140 k8s-node2
 
关闭防火墙和关闭SELinux
systemctl stop firewalld
systemctl disable firewalld
setenforce 0 临时关闭
vi /etc/sysconfig/selinux 永久关闭
改为SELINUX=disabled
 
设置系统参数,加载br_netfilter模块
modprobe br_netfilter
设置允许路由转发，不对bridge的数据进行处理创建文件
vim /etc/sysctl.d/k8s.conf
内容如下：
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
执行文件
sysctl -p /etc/sysctl.d/k8s.conf
 
kube-proxy开启ipvs的前置条件
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
 
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash
 
/etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4（过滤ipv4信息）
 
所 有 节 点 关 闭 swap
swapoff -a 临时关闭
vi /etc/fstab 永久关闭注释掉以下字段
/dev/mapper/cl-swap swap swap defaults 0 0
 
安装kubelet、kubeadm、kubectl kubeadm: 用来初始化集群的指令。
kubelet: 在集群中的每个节点上用来启动 pod 和 container 等。
kubectl: 用来与集群通信的命令行工具。
 
清空yum缓存
 yum clean all
 
设置yum安装源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
 
 
安装：
yum install -y kubelet-1.17.0 kubeadm-1.17.0 kubectl-1.17.0
 
kubelet设置开机启动（注意：先不启动，现在启动的话会报错）
systemctl enable kubelet
 
查看版本
kubelet --version
 
Master节点需要完成
1）运行初始化命令（具备docker环境）
 注意：apiserver的IP修改自己master的，pod可以修改，也可默认
 
kubeadm init --kubernetes-version=1.17.0 \
--apiserver-advertise-address=192.168.195.200 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16
注意：apiserver-advertise-address这个地址必须是master机器的IP 常用错误：
错误一：[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver
作为Docker cgroup驱动程序。，Kubernetes推荐的Docker驱动程序是“systemd”
解决方案：修改Docker的配置: vi /etc/docker/daemon.json，加入
{
"exec-opts":["native.cgroupdriver=systemd"]
}
然后重启Docker
 
错误二：[ERROR NumCPU]: the number of available CPUs 1 is less than the required 2
解决方案：修改虚拟机的CPU的个数，至少为2个
最后，会提示节点安装的命令，必须记下来
kubeadm join 192.168.153.120:6443 --token uhln9d.p5wljjtbr3eskkd8 \
--discovery-token-ca-cert-hash sha256:c7c152b9cba2d8699ad0b438d40355c60a109eddc260d72a7ae1e5d592ee7eae
 2） 配置kubectl工具
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config 
3） 启动kubelet
systemctl restart kubelet

 

4） 安装Calico
mkdir k8s
cd k8s
 
//不检查凭证下载calico.yaml
 
//地址更改，方便从节点通信
sed -i 's/192.168.0.0/10.244.0.0/g' calico.yaml
 
kubectl apply -f calico.yaml
5） 查看所有Pod的状态，确保所有Pod都是Running状态
kubectl get pod --all-namespaces -o wide

 

Slave节点需要完成     
1）让所有节点让集群环境
使用之前Master节点产生的命令加入集群
kubeadm join 192.168.153.120:6443 --token uhln9d.p5wljjtbr3eskkd8 \
--discovery-token-ca-cert-hash sha256:c7c152b9cba2d8699ad0b438d40355c60a109eddc260d72a7ae1e5d592ee7eae
 
2） 启动kubelet
systemctl start kubelet
3） 回到Master节点查看，如果Status全部为Ready，代表集群环境搭建成功！！！
kubectl get nodes
 

 

kubectl常用命令
kubectl get nodes 查看所有主从节点的状态
kubectl get ns 获取所有namespace资源
kubectl get pods -n {$nameSpace} 获取指定namespace的pod
kubectl describe pod的名称 -n {$nameSpace} 查看某个pod的执行过程
kubectl logs --tail=1000 pod的名称 | less 查看日志kubectl create -f xxx.yml 通过配置文件创建一个集群资源对象kubectl delete -f xxx.yml 通过配置文件删除一个集群资源对象
 
 
posted @ 2022-03-07 23:25  十一没有撤退可言！  阅读(99)  评论(0)  编辑  收藏  举报