CentOS7安装Kubernetes1.18.1并使用flannel

一、概述

手工搭建 Kubernetes 集群是一件很繁琐的事情，为了简化这些操作，就产生了很多安装配置工具，如 Kubeadm ，Kubespray，RKE 等组件，我最终选择了官方的 Kubeadm 主要是不同的 Kubernetes 版本都有一些差异，Kubeadm 更新与支持的会好一些。Kubeadm 是 Kubernetes 官方提供的快速安装和初始化 Kubernetes 集群的工具，目前的还处于孵化开发状态，跟随 Kubernetes 每个新版本的发布都会同步更新, 强烈建议先看下官方的文档了解下各个组件与对象的作用。

https://kubernetes.io/docs/concepts/
https://kubernetes.io/docs/setup/independent/install-kubeadm/
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

在创建Kubernetes集群时，阿里云容器服务提供两种网络插件：Terway和Flannel。

Flannel：使用的是简单稳定的社区的Flannel CNI 插件，配合阿里云的VPC的高速网络，能给集群高性能和稳定的容器网络体验，但功能偏简单，支持的特性少，例如：不支持基于Kubernetes标准的Network Policy。
Terway：是阿里云容器服务自研的网络插件，将阿里云的弹性网卡分配给容器，支持基于Kubernetes标准的NetworkPolicy来定义容器间的访问策略，支持对单个容器做带宽的限流。对于不需要使用Network Policy的用户，可以选择Flannel，其他情况建议选择Terway。

因此，本文主要介绍flannel的简单使用。

系统环境

系统	内核	docker	ip	主机名	配置
centos 7.6	3.10.0-957.el7.x86_64	19.03.5	192.168.128.130	k8s-master	2核4G
centos 7.6	3.10.0-957.el7.x86_64	19.03.5	192.168.128.131	k8s-node01	2核4G
centos 7.6	3.10.0-957.el7.x86_64	19.03.5	192.168.128.132	k8s-node02	2核4G

注意：请确保CPU至少2核，内存2G

二、准备工作

注意：k8s-master，k8s-node01，k8s-node01都必须执行。

关闭防火墙

如果各个主机启用了防火墙，需要开放Kubernetes各个组件所需要的端口，可以查看Installing kubeadm中的”Check required ports”一节。这里简单起见在各节点禁用防火墙：

systemctl stop firewalld
systemctl disable firewalld

禁用SELINUX

# 临时禁用
setenforce 0
# 永久禁用 
vim /etc/selinux/config    # 或者修改/etc/sysconfig/selinux
SELINUX=disabled

修改k8s.conf文件

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

开启路由转发

echo 1 > /proc/sys/net/ipv4/ip_forward

关闭swap

# 临时关闭
swapoff -a

修改 /etc/fstab 文件，注释掉 SWAP 的自动挂载（永久关闭swap，重启后生效）

# 注释掉以下字段
/dev/mapper/cl-swap     swap                    swap    defaults        0 0

安装docker

注意：k8s-master，k8s-node01，k8s-node01都必须执行。

这里就不再叙述了，请参考链接：

https://www.cnblogs.com/xiao987334176/p/11771657.html

修改主机名

登录k8s-master执行

hostnamectl set-hostname k8s-master

注意：主机名不能带下划线，只能带中划线
否则安装k8s会报错

could not convert cfg to an internal cfg: nodeRegistration.name: Invalid value: "k8s_master": a DNS-1123 subdomain must consist of lower case alphanumeric characters, '-' or '.', and must start and end with an alphanumeric character (e.g. 'example.com', regex used for validation is '[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*')

登录 k8s-node01，k8s-node01修改对应主机名，命令格式同上。

三、安装kubeadm，kubelet，kubectl

注意：k8s-master，k8s-node01，k8s-node01都必须执行。

在各节点安装kubeadm，kubelet，kubectl

修改yum安装源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装软件

目前最新版本是：1.18.1

yum install -y kubelet-1.18.1-0 kubeadm-1.18.1-0 kubectl-1.18.1-0
systemctl enable kubelet && systemctl start kubelet

以上，就是master和node都需要操作的部分。

四、初始化Master节点

登录k8s-master执行

运行初始化命令

kubeadm init --kubernetes-version=1.18.1 \
--apiserver-advertise-address=192.168.128.130 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16

注意修改apiserver-advertise-address为master节点ip

参数解释：

–kubernetes-version: 用于指定k8s版本；
–apiserver-advertise-address：用于指定kube-apiserver监听的ip地址,就是 master本机IP地址。
–pod-network-cidr：用于指定Pod的网络范围； 10.244.0.0/16
–service-cidr：用于指定SVC的网络范围；
–image-repository: 指定阿里云镜像仓库地址

这一步很关键，由于kubeadm 默认从官网k8s.grc.io下载所需镜像，国内无法访问，因此需要通过–image-repository指定阿里云镜像仓库地址

集群初始化成功后返回如下信息：
记录生成的最后部分内容，此内容需要在其它节点加入Kubernetes集群时执行。
输出如下：

...
Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.128.130:6443 --token rkt1p6.3m7z7pqfvaehxmxi \
    --discovery-token-ca-cert-hash sha256:dd384c51b5a38cce275dd3e178f6f1601b644f5fc2bc2f8cee9c2b031b119143

注意保持好kubeadm join，后面会用到的。

配置kubectl工具

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

安装flannel

mkdir k8s
cd k8s
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

如果yml中的"Network": "10.244.0.0/16"和kubeadm init xxx --pod-network-cidr不一样，就需要修改成一样的。不然可能会使得Node间Cluster IP不通。

由于我上面的kubeadm init xxx --pod-network-cidr就是10.244.0.0/16。所以此yaml文件就不需要更改了。

查看yaml需要的镜像

# cat kube-flannel.yml |grep image|uniq
        image: quay.io/coreos/flannel:v0.12.0-amd64
        image: quay.io/coreos/flannel:v0.12.0-arm64
        image: quay.io/coreos/flannel:v0.12.0-arm
        image: quay.io/coreos/flannel:v0.12.0-ppc64le
        image: quay.io/coreos/flannel:v0.12.0-s390x

注意：这些镜像都是需要访问谷歌才行的。

但是阿里云容器镜像服务ACR里面是有的，访问链接如下：

https://www.aliyun.com/product/acr

注意：必须使用阿里云账号登录才行。

点击管理控制台

点击左侧的镜像搜索

输入关键字：flannel:v0.12.0-amd64，选择第二个。

点击复制公网地址

由于我这里是上海区域，所以域名是：registry.cn-shanghai。如果你选的是其他区域，域名也会不一样。

下面就是我们需要的版本号。

那么下载镜像的完整命令为：

docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64

其他镜像，也都在这里。

所以，所需要的镜像下载命令为：

docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm64
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-ppc64le
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-s390x

为镜像打tag，保持和yaml文件一样。

docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64 quay.io/coreos/flannel:v0.12.0-amd64
docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm64 quay.io/coreos/flannel:v0.12.0-arm64
docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm quay.io/coreos/flannel:v0.12.0-arm
docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-ppc64le quay.io/coreos/flannel:v0.12.0-ppc64le
docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-s390x quay.io/coreos/flannel:v0.12.0-s390x

注意：这些镜像，也需要在node节点执行。

加载flannel

kubectl apply -f kube-flannel.yml

查看Pod状态

等待几分钟，确保所有的Pod都处于Running状态

# kubectl get pod --all-namespaces -o wide
NAMESPACE     NAME                                 READY   STATUS    RESTARTS   AGE    IP                NODE         NOMINATED NODE   READINESS GATES
kube-system   coredns-7ff77c879f-8jpb7             0/1     Running   0          125m   10.244.0.3        k8s-master   <none>           <none>
kube-system   coredns-7ff77c879f-9gcjr             1/1     Running   0          125m   10.244.0.2        k8s-master   <none>           <none>
kube-system   etcd-k8s-master                      1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>
kube-system   kube-apiserver-k8s-master            1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>
kube-system   kube-controller-manager-k8s-master   1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>
kube-system   kube-flannel-ds-amd64-gz8jd          1/1     Running   0          27s    192.168.128.130   k8s-master   <none>           <none>
kube-system   kube-proxy-wh548                     1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>
kube-system   kube-scheduler-k8s-master            1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>

注意：coredns容器的网段是10.244.0.0/16

设置开机启动

systemctl enable kubelet

命令补全

（仅master）

yum install -y bash-completion

source <(kubectl completion bash)
echo "source <(kubectl completion bash)" >> ~/.bashrc
source  ~/.bashrc

必须退出一次，再次登录，就可以了

五、node加入集群

准备工作

请查看上文中的准备工作，确保都执行了！！！

修改主机名部分，改为k8s-node01

hostnamectl set-hostname k8s-node01

加入节点

登录到node节点，确保已经安装了docker和kubeadm，kubelet，kubectl

kubeadm join 192.168.128.130:6443 --token rkt1p6.3m7z7pqfvaehxmxi \
    --discovery-token-ca-cert-hash sha256:dd384c51b5a38cce275dd3e178f6f1601b644f5fc2bc2f8cee9c2b031b119143

设置开机启动

systemctl enable kubelet

查看节点

登录k8s-master执行

使用命令查看

# kubectl get nodes -o wide
NAME         STATUS     ROLES    AGE    VERSION   INTERNAL-IP       EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION          CONTAINER-RUNTIME
k8s-master   Ready      master   128m   v1.18.1   192.168.128.130   <none>        CentOS Linux 7 (Core)   3.10.0-957.el7.x86_64   docker://19.3.8
k8s-node01   Ready      <none>   30s    v1.18.1   192.168.128.131   <none>        CentOS Linux 7 (Core)   3.10.0-957.el7.x86_64   docker://19.3.8
k8s-node02   NotReady   <none>   19s    v1.18.1   192.168.128.132   <none>        CentOS Linux 7 (Core)   3.10.0-957.el7.x86_64   docker://19.3.8

登录到node节点，查看ip

# ifconfig 
...
flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.244.1.0  netmask 255.255.255.255  broadcast 0.0.0.0
        inet6 fe80::80e7:9eff:fe5d:3d94  prefixlen 64  scopeid 0x20<link>
        ether 82:e7:9e:5d:3d:94  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 8 overruns 0  carrier 0  collisions 0
...

它会创建一个flannel.1网卡，用来做flannel网络通信的。

七、使用yml发布应用

以flaskapp为例子

登录k8s-master执行

flaskapp-deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: flaskapp-1
spec:
  selector:
    matchLabels:
      run: flaskapp-1
  replicas: 1
  template:
    metadata:
      labels:
        run: flaskapp-1
    spec:
      containers:
      - name: flaskapp-1
        image: jcdemo/flaskapp
        ports:
        - containerPort: 5000

flaskapp-service.yaml

apiVersion: v1
kind: Service
metadata:
  name: flaskapp-1
  labels:
    run: flaskapp-1
spec:
  type: NodePort
  ports:
  - port: 5000
    name: flaskapp-port
    targetPort: 5000
    protocol: TCP
    nodePort: 30005
  selector:
    run: flaskapp-1

加载yml文件

kubectl apply -f flaskapp-service.yaml 
kubectl apply -f flaskapp-deployment.yaml

查看pod状态

# kubectl get pods -o wide
NAME                          READY   STATUS    RESTARTS   AGE   IP           NODE         NOMINATED NODE   READINESS GATES
flaskapp-1-5d96dbf59b-94v6v   1/1     Running   0          33s   10.244.2.2   k8s-node02   <none>           <none>

等待几分钟，确保为Running状态

ping pod ip

# ping 10.244.2.2 -c 3
PING 10.244.2.2 (10.244.2.2) 56(84) bytes of data.
64 bytes from 10.244.2.2: icmp_seq=1 ttl=63 time=1.86 ms
64 bytes from 10.244.2.2: icmp_seq=2 ttl=63 time=0.729 ms
64 bytes from 10.244.2.2: icmp_seq=3 ttl=63 time=1.05 ms

--- 10.244.2.2 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2001ms
rtt min/avg/max/mdev = 0.729/1.215/1.862/0.477 ms

确保能正常ping通，表示flannel网络正常。

访问页面

使用master ip+nodeport访问

http://192.168.128.130:30005/

效果如下：

注意：使用node节点ip+nodeport也可以访问。

posted @ 2020-04-13 13:36 肖祥阅读(14404) 评论(5) 编辑收藏举报

指间灵动，快码加编

刷新页面返回顶部

肖祥

CentOS7安装Kubernetes1.18.1并使用flannel

一、概述

系统环境

二、准备工作

关闭防火墙

禁用SELINUX

修改k8s.conf文件

开启路由转发

关闭swap

安装docker

修改主机名

三、安装kubeadm，kubelet，kubectl

修改yum安装源

安装软件

四、初始化Master节点

运行初始化命令

配置kubectl工具

安装flannel

查看Pod状态

命令补全

五、node加入集群

准备工作

加入节点

查看节点

七、使用yml发布应用

访问页面

公告