Kubenetes部署

一、简介

借鉴连接：https://www.yuque.com/fairy-era/yg511q/gqx2mr

Kubernetes是Google 2014年创建管理的，是Google 10多年大规模容器管理技术Borg的开源版本。它是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。

通过Kubernetes你可以：

• 快速部署应用
• 快速扩展应用
• 无缝对接新的应用功能
• 节省资源，优化硬件资源的使用

Kubernetes 特点:

• 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud）
• 可扩展: 模块化, 插件化, 可挂载, 可组合
• 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展

二、快速搭建

1. 安装要求

• 在开始之前，部署Kubernetes集群机器需要满足以下几个条件：
• 3台以上机器，操作系统 CentOS7.7以上64位系统
• 硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多
• 集群中所有机器之间网络互通
• 可以访问外网，需要拉取镜像
• 禁止swap分区

2. 部署内容

• kubernetes1.16.2版本，docker19.03版本
• 在所有节点上安装Docker和kubeadm，kubenet
• 部署Kubernetes Master
• 部署容器网络插件
• 部署 Kubernetes Node，将节点加入Kubernetes集群中

3. 准备环境

这里我准备了三台机器

centos版本不要太低否者可能会出问题（最好7.7以上）

ip: 10.0.1.176 主机名：test-docker-176 系统：centos7.7 配置：8核8G
ip: 10.0.1.177 主机名：test-docker-177 系统：centos7.7 配置：8核8G
ip: 10.0.1.178 主机名：test-docker-178 系统：centos7.7 配置：8核8G

三台主机都需要执行如下命令

关闭防火墙和selinux

systemctl stop firewalld

systemctl disable firewalld

sed -i 's/enforcing/disabled/' /etc/selinux/config

setenforce 0

关闭swap分区

swapoff -a    # 临时关闭

sed -i '/swap / s/^\(.*\)$/#\1/g' /etc/fstab  # 注释到swap那一行  永久关闭

添加主机名与IP对应关系(三台主机都执行)

echo '''
10.0.1.176 k8s-master-176
10.0.1.177 k8s-node-177
10.0.1.178 k8s-node-178
''' >> /etc/hosts

各自修改主机名（从176-178各自顺序执行）

cat > /etc/sysctl.d/k8s.conf << EOF
net.ipv4.ip_forward = 1
net.ipv4.tcp_tw_recycle = 0
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system

所有机器升级内核到最新

 1、安装源

1	rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

2、安装内核

1	yum --enablerepo=elrepo-kernel install -y kernel-lt

备选

下载内核

wget http://mirrors.coreix.net/elrepo-archive-archive/kernel/el7/x86_64/RPMS/kernel-lt-devel-5.4.228-1.el7.elrepo.x86_64.rpm
wget http://mirrors.coreix.net/elrepo-archive-archive/kernel/el7/x86_64/RPMS/kernel-lt-headers-5.4.228-1.el7.elrepo.x86_64.rpm
wget http://mirrors.coreix.net/elrepo-archive-archive/kernel/el7/x86_64/RPMS/kernel-lt-5.4.228-1.el7.elrepo.x86_64.rpm

安装

rpm ./kernel* --force

 

3、设置最新内核启动

3.1、查询

1	legacy cat /boot/grub2/grub.cfg |grep menuentry uefi cat /boot/efi/EFI/centos/grub.cfg |grep menuentry

3.2、设置默认新内核启动

1	grub2-set-default 'CentOS Linux (5.4.186-1.el7.elrepo.x86_64) 7 (Core)'

3.3、重启设备，使内核生效

init 6

4. 所有节点安装Docker/kubeadm/kubelet

Docker安装

注意：这里docker最好安装19.03.9版本，防止集成到k8s出现bug，这里我出现过k8s监控服务无法获取资源信息

依赖安装：

yum install -y yum-utils device-mapper-persistent-data lvm2

-阿里源安装：

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

docker安装：

列出可安装的docker版本

yum list docker-ce --showduplicates | sort -r

安装

?

1	yum install docker-ce   # 安装指定版本，例如yum install -y docker-ce-19.03.9

启动并加入开机自启

?

1 2	systemctl start docker systemctl enable docker

修改docker数据存放目录位置（默认目录是/var/lib/docker，这里防止/目录满我修改到数据盘内）和镜像加速

Docker配置修改，设置cgroup驱动，这里用systemd

配置修改为如下

vim /etc/docker/daemon.json

?

1 2 3 4 5 6 7 8 9 10

{   "graph": "/data/docker",   "registry-mirrors": ["https://01xxgaft.mirror.aliyuncs.com"],   "exec-opts": ["native.cgroupdriver=systemd"],   "log-driver": "json-file",   "log-opts": {     "max-size": "100m"   },   "storage-driver": "overlay2" }

重启docker

?

1	systemctl restart docker

5. 添加k8s阿里云YUM软件源

所有机器执行

?

1 2 3 4 5 6 7 8 9

cat > /etc/yum.repos.d/kubernetes.repo << EOF [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF

安装kubeadm，kubelet和kubectl

所有机器执行

?

1 2 3 4 5

yum install -y kubelet-1.16.2 kubeadm-1.16.2 kubectl-1.16.2   systemctl start kubelet   systemctl enable kubelet

6. 部署k8s的master和node节点

部署master节点，在10.0.1.176执行

初始化master节点

?

1	kubeadm init   --apiserver-advertise-address=10.0.1.176 --image-repository registry.aliyuncs.com/google_containers   --kubernetes-version v1.16.0   --service-cidr=10.140.0.0/16 --pod-network-cidr=10.240.0.0/16

–apiserver-advertise-address 集群通告地址(mater的ip)
–image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
–kubernetes-version K8s版本，与上面安装的一致
–service-cidr 集群内部虚拟网络，Pod统一访问入口
–pod-network-cidr Pod 网络，与下面部署的CNI网络组件yaml中保持一致
————————————————

网段问题，两个网段不要重，后面是/16，不要与当前机器网段一样

这里执行完会生成一串命令用于node节点的加入，记录下来，接着执行以下命令

?

1 2 3 4 5

mkdir -p $HOME/.kube   cp -i /etc/kubernetes/admin.conf $HOME/.kube/config   chown $(id -u):$(id -g) $HOME/.kube/config

部署node节点，在10.0.1.177和178执行

这里复制上面生成的一串命令，我这里只是示例，命令根据你实际生成的复制去node节点执行

?

1	kubeadm join 10.0.1.176:6443 --token 1146ci.3elqkwg3b2sdqp6l --discovery-token-ca-cert-hash sha256:3562d07fbe47d39ddc04c9170464e2699f1328c08ded2bb0198bde9a55ce8e5e

默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，可以直接使用命令快捷生成：

kubeadm token create --print-join-command

7. 安装网络插件（CNI）

下面两种插件二选一，master上执行

安装flannel插件（轻量级用于快速搭建使用，初学推荐）

下载yaml文件

?

1	wget http://download.stisd.cn/k8s/kube-flannel.yml

修改net-conf.json下面的网段为上面init pod-network-cidr的网段地址（必须正确否则会导致集群网络问题）

?

1	sed -i 's/10.244.0.0/10.240.0.0/' kube-flannel.yml

修改完安装插件，执行

?

1 2 3

kubectl apply -f kube-flannel.yml   kubectl get pods -n kube-system

这里如果wget不下来，就将199.232.68.133 raw.githubusercontent.com 放到hosts内(该服务器在国外，所以经常访问不到，回头把yml文件贴上)

安装calico插件（用于复杂网络环境）

下载yaml文件

?

1	wget http://download.stisd.cn/k8s/calico-3.9.2.yaml

备用链接

wget --no-check-certificate https://docs.projectcalico.org/v3.20/manifests/calico.yaml

修改配置文件的网段为上面init pod-network-cidr的网段地址（必须正确否则会导致集群网络问题）

?

1	sed -i 's/192.168.0.0/10.240.0.0/g' calico-3.9.2.yaml

修改完安装插件，执行

?

1 2 3

kubectl apply -f calico.yaml   kubectl get pod --all-namespaces -o wide

8. 测试kubernetes集群

在Kubernetes集群中创建一个pod，验证是否正常运行

创建一个pod，开放对外端口访问，这里会随机映射一个端口

?

1 2 3

kubectl create deployment nginx --image=nginx   kubectl expose deployment nginx --port=80 --type=NodePort

查看pod状态，必须是running状态而且ready是1，并查看nginx svc的80端口映射到了哪个端口

?

1	kubectl get pod,svc

访问任意机器的刚刚查看的映射端口，看看是否nginx已经运行（容器是80，实际访问地址是kubectl get svc的结果80映射IP）

9. k8s常用命令

查看pod，service，endpoints，secret等等的状态

?

1	kubectl get 组件名      # 例如kubectl get pod   查看详细信息可以加上-o wide   其他namespace的指定 -n namespace名

创建，变更一个yaml文件内资源，也可以是目录，目录内包含一组yaml文件（实际使用中都是以yaml文件为主，直接使用命令创建pod的很少，推荐多使用yaml文件）

?

1	kubectl apply -f xxx.yaml    # 例如kubectl apply -f nginx.yaml   这里是如果没有则创建，如果有则变更，比create好用

删除一个yaml文件内资源，也可以是目录，目录内包含一组yaml文件

?

1	kubectl delete -f xxx.yaml    # 例如kubectl delete -f nginx.yaml

查看资源状态，比如有一组deployment内的pod没起来，一般用于pod调度过程出现的问题排查

?

1	kubectl describe pod pod名     # 先用kubectl get pod查看  有异常的复制pod名使用这个命令

查看pod日志，用于pod状态未就绪的故障排查

?

1	kubectl logs pod名     # 先用kubectl get pod查看  有异常的复制pod名使用这个命令

查看node节点或者是pod资源（cpu，内存资源）使用情况

?

1	kubectl top 组件名     # 例如kubectl top node  kubectl top pod

进入pod内部

?

1	kubectl exec -ti pod名 /bin/bash      # 先用kubectl get pod查看  有需要的复制pod名使用这个命令

10. k8s高可用

如果已经掌握k8s单master节点部署想学习高可用部署，参考 k8s高可用搭建部署