K8S1.18 安装教程

第一 ，详细步骤

1, 虚拟机两台

（ip按自己的网络环境相应配置）(master/node)

vim /etc/hosts

机器IP	hostname
192.168.56.215	k8s-master
192.168.56.216	k8s-node1
192.168.56.217	k8s-node2

2, 关闭防火墙

 

(master/node)

 systemctl stop firewalld
 systemctl disable firewalld

　

3, 关闭selinux

 (master/node)
 
 setenforce 0  # 临时关闭
 sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config # 永久关闭

 

4, 关闭swap

 (master/node)

 swapoff -a    # 临时关闭；关闭swap主要是为了性能考虑
 free             # 可以通过这个命令查看swap是否关闭了
 sed -ri 's/.*swap.*/#&/' /etc/fstab  # 永久关闭

 

5, 添加主机名与IP对应的关系

(master/node)

$ vim /etc/hosts
#添加如下内容：
192.168.100.215     k8s-master
192.168.100.216     k8s-node1
#保存退出

6, 修改主机名(master/node)

k8s-master:
[root@localhost ~] hostname
localhost.localdomain
[root@localhost ~] hostname k8s-master ##临时生效
[root@localhost ~] hostnamectl set-hostname k8s-master ##重启后永久生效
k8s-node1:
[root@localhost ~] hostname
localhost.localdomain
[root@localhost ~] hostname k8s-node1  ##临时生效
[root@localhost ~] hostnamectl set-hostname k8s-node1  ##重启后永久生效

 

7，桥接设置

1, 网络参数
修改参数

#没有ipvs
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
​
#查询
sysctl --system
​
#启动 ipvs
cat >> /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
​
#配置生效
modprobe br_netfilter
modprobe nf_conntrack
modprobe nf_conntrack_ipv4
sysctl -p /etc/sysctl.d/k8s.conf
​
#检查
lsmod | grep nf_conntrack_ipv4
2,启动 ipvs
cat > /etc/sysconfig/modules/ipvs.modules << EOF
#!/bin/bash
ipvs_modules_dir="/usr/lib/modules/\$(uname -r)/kernel/net/netfilter/ipvs"
for kernel_module in \$(ls \$ipvs_modules_dir | sed -r 's@(.*).ko.xz@\1@'); do
/sbin/modinfo -F filename \$kernel_module &> /dev/null
echo $kernel_module >> /etc/modules-load.d/ipvs.conf
if [ \$? -eq 0 ]; then
/sbin/modprobe \$kernel_module
fi
done
 EOF   
注意：
 ​
启动IPVS服务 第2章节 详见 
​
3.10-linux一下内核,使用k8s-1.18以上版本 启动IPVS可能会报错  错误处理 详见
​
 虽然k8s所支持的ipvs模块不是太多，在这里我们选择全部加载​
由于不同的内核版本的模块后缀不一样，所以我们要确认模块的后缀到底是什么，对于3.X版本的内核，该模块的后缀是 xx.ko.xz，而对于4.X版本的内核的后缀是 xx.ko


修改文件权限，并手动为当前系统加载内核模块：

chmod +x /etc/sysconfig/modules/ipvs.modules
bash /etc/sysconfig/modules/ipvs.modules
查看是否加载成功
lsmod | grep ip_vs
​
#检查
lsmod | grep nf_conntrack
p.s.

以上几步最好照着都执行一下，以免后面报一大堆错*

 

8, 安装docker

(master/node)

添加软件源
$yum install -y yum-utils device-mapper-persistent-data lvm2
​
$ yum -y install wget
# 添加docker yum源
$ wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
#查看可用版本
$yum list docker-ce --showduplicates
# 安装
$ yum -y install docker-ce-18.09.9-3.el7
# 设置开机启动
$ systemctl enable docker
# 启动docker
$ systemctl start docker
如果无法安装

或者
yum install -y --setopt=obsoletes=0 docker-ce-18.09.9-3.el7
#添加 --setopt=obsoletes=0 
#是一个忽略废弃策略的参数
基本配置

修改配置信息

# vim /usr/lib/systemd/system/docker.service
...
ExecStart=/usr/bin/dockerd --exec-opt native.cgroupdriver=systemd -H fd:// --containerd=/run/containerd/containerd.sock
...
#添加
--exec-opt native.cgroupdriver=systemd


添加docker软件源

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://******.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

 

9，添加阿里云YUM软件源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[k8s]
name=k8s
enabled=1
gpgcheck=0 
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
EOF

 

10，安装kubeadm，kubelet和kubectl

#版本可以选择自己要安装的版本号，目前最新是1.19.2，我安装的是1.18.0
$ yum install -y kubelet-1.18.0 kubectl-1.18.0 kubeadm-1.18.0
# 此时，还不能启动kubelet，因为此时配置还不能，现在仅仅可以设置开机自启动
$ systemctl enable kubelet

kubelet配置

配置cgroup

# 获取 docker 的 cgroups
​
DOCKER_CGROUPS=$(docker info | grep 'Cgroup' | cut -d' ' -f3)
​
echo $DOCKER_CGROUPS
​
# 配置 kubelet 的 cgroups
​
cat > /etc/sysconfig/kubelet << EOF
KUBELET_EXTRA_ARGS="--cgroup-driver=$DOCKER_CGROUPS --fail-swap-on=false"
EOF
​
#手动
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd --fail-swap-on=false"
                   "--cgroup-driver=systemd --fail-swap-on=false"
服务自启动

$systemctl enable kubelet

注意：
28
--cgroup-driver= 属性很重要，否则的话，集群初始化的时候，会发生如下报错：

Error while processing event ("/sys/fs/cgroup/devices/libcontainer_...): inoti

fy_add_watch /sys/fs/cgroup/devices/libcontainer_...: no such file or directory

因为新版的k8s不支持开启swap，所以要附加 --fail-swap-on=false 禁用swap

 

 

11,部署Kubernetes (master)

 1  部署Kubernetes (master)
 2  node节点不需要kubeadm init
 3  
 4  kubeadm init
 5  
 6  kubeadm init \
 7  --apiserver-advertise-address=10.0.8.10 \
 8  --image-repository registry.aliyuncs.com/google_containers \
 9  --kubernetes-version v1.18.0 \
10  --service-cidr=10.1.0.0/16 \
11  --pod-network-cidr=10.244.0.0/16
12  成功后末尾输出信息如下：
13  
14  kubeadm join 10.0.8.10:6443 --token o07ylk.rsb5hbcingulujzy \
15  --discovery-token-ca-cert-hash sha256:7b8ae247026495075b00ae2c0b64d2fa3760dbddba4872fc44f8c17f23dc2a78 
16  
p.s.这里是通过kubeadm init安装，所以执行后会下载相应的docker镜像，
一般会发现在控制台卡着不动很久，这时就是在下载镜像，你可以docker images查看是不是有新的镜像增加。
17  
18  查看安装的镜像
19  
20 $  docker images
21   REPOSITORY                                                        TAG                 IMAGE ID            CREATED             SIZE
22  registry.aliyuncs.com/google_containers/kube-proxy                v1.17.0             7d54289267dc        7 months ago        116MB
23  registry.aliyuncs.com/google_containers/kube-apiserver            v1.17.0             0cae8d5cc64c        7 months ago        171MB
24  registry.aliyuncs.com/google_containers/kube-controller-manager   v1.17.0             5eb3b7486872        7 months ago        161MB
25  registry.aliyuncs.com/google_containers/kube-scheduler            v1.17.0             78c190f736b1        7 months ago        94.4MB
26  registry.aliyuncs.com/google_containers/coredns                   1.6.5               70f311871ae1        8 months ago        41.6MB
27  registry.aliyuncs.com/google_containers/etcd                      3.4.3-0             303ce5db0e90        9 months ago        288MB
28  registry.aliyuncs.com/google_containers/pause                     3.1                 da86e6ba6ca1        2 years ago         742kB

 

12，使用kubectl工具

kubeadm安装好后,控制台也会有提示执行以下命令，照着执行

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
测试一下kubectl命令

[root@k8s-master ~]# kubectl get nodes
NAME         STATUS   ROLES    AGE   VERSION
k8s-master   NotReady    master   23m   v1.18.0

 

13，安装Pod网络插件

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml


报错：The connection to the server raw.githubusercontent.com was refused - did you specify the right host or port?

原因：外网不可访问 解决办法：

sudo vim /etc/hosts   
#在/etc/hosts增加以下这条
199.232.28.133 raw.githubusercontent.com
​
重新执行上面命令，便可成功安装！

 

14， node节点加入master

node
kubeadm join 10.0.8.10:6443 --token o07ylk.rsb5hbcingulujzy \
    --discovery-token-ca-cert-hash sha256:7b8ae247026495075b00ae2c0b64d2fa3760dbddba4872fc44f8c17f23dc2a78 
​
在master查看

kubectl get nodes
NAME         STATUS     ROLES    AGE   VERSION
k8s-master   Ready   master      22m   v1.18.0
k8s-node1    Ready      <none>   18m   v1.18.0 
注意
安装时注意自己安装的程序版本

k8s组件也是以docker容器的形式存在，所以会下载很多dokcer image

一般安装不会在胜利，会出现不少问题，用tailf /var/log/messages跟踪下日志

最好把几台机器系统时间同步下，节点通讯中的token与时间也有关

 

第二，其他环境

1, 开启ipvs

检查配置信息

$ kubectl get cm -n kube-system
.....
NAME                                 DATA   AGE
coredns                              1      10h
extension-apiserver-authentication   6      10h
kube-flannel-cfg                     2      10h
kube-proxy                           2      10h
kubeadm-config                       2      10h
kubelet-config-1.18                  1      10h
.....
修改配置信息

$ kubectl edit configmap kube-proxy -n kube-system
...
mode: "ipvs"
...
获取所有kube-proxy

$ kubectl get pods -n kube-system | proxy 
​
kube-proxy-dqwcm                     1/1     Running   4          97m
kube-proxy-lfhzt                     1/1     Running   4          98m
kube-proxy-v28m7                     1/1     Running   4          97m
​
重启所有proxy

手动
$ kubectl delete pods kube-proxy-dqwcm   -n kube-system
​
自动
重启所有proxy
proxy_list=$(kubectl get pod -n kube-system | grep kube-proxy | awk '{print $1}')
for pod in $proxy_list
do
kubectl delete pod $pod -n kube-system
done
​
查看日志 是否成功

$ kubectl logs  kube-proxy-dqwcm -n -system
​

 

2, 测试环境

启动NGINX

#启动Nginx 
kubectl run nginx --image=nginx
#创建 deployment 调度器
kubectl crate deployment nginx --image=nginx 
#映射端口 
kubectl expose deployment nginx --port=80 --type=NodePort
#查看
kubectl get all

查看你的端口号: 假设9000

浏览器打开
http//192.168.56.101:9000

 

故障排查

K8S在kubeadm init后，没有记录kubeadm join如何查询？

#再生成一个token即可
kubeadm token create --print-join-command
#下在的命令可以查看历史的token
kubeadm token list
node节点kubeadm join失败后，要重新join怎么办？

#先执行
kubeadm -y reset
#再执行
kubeadm join  xx.....
重启kubelet

systemctl daemon-reload
systemctl restart kubelet
查询

#查询节点
kubectl get nodes
#查询pods 一般要带上"-n"即命名空间。不带等同  -n dafault
kubectl get pods -n kube-system

 

• 故障排查

一、故障产生

在不关闭kubernets相关服务的情况下，对kubernets的master节点进行重启。（模拟服务器的异常掉电）

二、故障状况

启动后无法远程到kubernets的dashbaord，后进行如下命令报错。

# kubectl get nodes
The connection to the server <master>:6443 was refused - did you specify the right host or port?

 

ipvs 报错

kubernetes 1.18+ 使用ipvs后coredns无法解析域名采坑记
​
升级到 kubernetes 1.18 版本出现 IPVS 报错，所以去 Kubernetes Github 查看相关 issues，发现有人在升级  
Kubernetes 版本到 1.18 后，也遇见了相同的问题，经过 issue 中 Kubernetes 维护人员讨论，分析出原因可能为新版  
Kubernetes 使用的 IPVS 模块是比较新的，需要系统内核版本支持，本人使用的是 CentOS 系统，内核版本为 3.10，里面的  
IPVS 模块比较老旧，缺少新版 Kubernetes IPVS 所需的依赖。
​
根据该 issue 讨论结果，解决该问题的办法是，更新内核为新的版本。
​
> 注：该 issues 地址为 https://github.com/kubernetes/kubernetes/issues/89520

解决问题

• 参考 http://team.jiunile.com/blog/2020/05/k8s-1-18-ipvs-problem.html

  升级系统内核版本

  升级 Kubernetes 集群各个节点的 CentOS 系统内核版本：

  ​
  # 载入公钥
  $ rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
  ​
  # 安装 ELRepo 最新版本
  $ yum install -y https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
  ​
  # 列出可以使用的 kernel 包版本
  $ yum list available --disablerepo=* --enablerepo=elrepo-kernel
  ​
  # 安装指定的 kernel 版本：
  $ yum install -y kernel-lt-5.4.102-1.el7.elrepo --enablerepo=elrepo-kernel
  ​
  # 查看系统可用内核
  $ cat /boot/grub2/grub.cfg | grep menuentry
  ​
  menuentry 'CentOS Linux (3.10.0-1062.el7.x86_64) 7 (Core)' --class centos （略）
  menuentry 'CentOS Linux (5.4.102-1.el7.elrepo.x86_64) 7 (Core)' --class centos ...（略）
  ​
  # 设置开机从新内核启动
  $ grub2-set-default "CentOS Linux (5.4.102-1.el7.elrepo.x86_64) 7 (Core)"
  ​
  # 查看内核启动项
  $ grub2-editenv list
  saved_entry=CentOS Linux (5.4.102-1.el7.elrepo.x86_64) 7 (Core)

  重启系统使内核生效，启动完成查看内核版本是否更新：

  ​
  $ uname -r
  5.4.102-1.el7.elrepo.x86_64

  查看是否解决

  $ kubectl logs  kube-proxy-dqwcm  -n kube-system 
  ​
  [root@k8s-master ~]# kubectl logs  kube-proxy-dqwcm  -n kube-system 
  I0304 14:05:38.818316       1 node.go:136] Successfully retrieved node IP: 10.0.8.10
  I0304 14:05:38.820216       1 server_others.go:259] Using ipvs Proxier.
  W0304 14:05:38.820500       1 proxier.go:429] IPVS scheduler not specified, use rr by default
  I0304 14:05:38.820685       1 server.go:583] Version: v1.18.0
  I0304 14:05:38.820998       1 conntrack.go:52] Setting nf_conntrack_max to 131072
  I0304 14:05:38.821793       1 config.go:315] Starting service config controller
  I0304 14:05:38.821802       1 shared_informer.go:223] Waiting for caches to sync for service config
  I0304 14:05:38.821812       1 config.go:133] Starting endpoints config controller
  I0304 14:05:38.821820       1 shared_informer.go:223] Waiting for caches to sync for endpoints config
  I0304 14:05:38.922200       1 shared_informer.go:230] Caches are synced for service config 
  I0304 14:05:38.924720       1 shared_informer.go:230] Caches are synced for endpoints config 
  ​
  ​
  ​

故障处理：

1.检查环境变量情况（正常）

env | grep -i kub

2.检查docker服务（正常）

systemctl status docker.service

3.检查kubelet服务（表面正常）

systemctl status kubelet.service

4.查看端口是是否被监听（没有监听）

netstat -pnlt | grep 6443

5.检查防火墙状态（正常）

systemctl status firewalld.service

6.查看日志

journalctl -xeu kubelet

这里分析，应该是镜像的问题。

6.1 重新导入一下API镜像即可。

docker load -i kube-apiserver-amd64_v1.9.0.tar

6.2 重启docker和kubelet服务

# systemctl restart docker.service
 
# systemctl restart kubelet.service

6.3 检查服务（此时正常）

kubectl get nodes

至此，故障处理完成。

 

解决方法1： export KUBECONFIG=/etc/kubernetes/admin.conf export $HOME/.kube/config

解决方法2： mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf HOME/.kube/config sudo chown (id -u):$(id -g) $HOME/.kube/config Alternatively you can also export KUBECONFIG variable like this: export KUBECONFIG=$HOME/.kube/config

解决方法3： #!/bin/bash swapoff -a systemctl start kubelet docker start (docker ps -a -q) docker start (docker ps -a -q)

解决方法4： sudo systemctl status firewalld #redhat centos sudo systemctl stop firewalld #redhat, centos sudo ufw status verbose #ubuntu sudo ufw disable #ubuntu

解决方法5： master： 192.168.211.40 node1： 192.168.211.41 node2： 192.168.211.42 master

———————————————— 版权声明：

本文为CSDN博主「翟雨佳blogs」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/yujia_666/article/details/114118291