使用kubeadm创建kubernets集群
参考: http://docs.kubernetes.org.cn/459.html
https://blog.csdn.net/gui951753/article/details/83316976#_1
http://www.mamicode.com/info-detail-2544943.html
https://blog.csdn.net/nklinsirui/article/details/80581286#debian-ubuntu
https://cloud.tencent.com/info/852b3e3d1ad1bc020eaacd3bef724443.html
1. 规划
| IP | 节点角色 | 工作职责 |
|---|---|---|
| 172.10.30.100 | master | 对外暴露API,对内提供工作流的调度和配置 |
| 172.10.30.101 | node1 | 承载着k8s运行的实际任务 |
| 172.10.30.102 | node2 | 同node1相同 |
2. 部署前提
- 主机名称解析，（在/etc/hosts文件编辑相关信息即可）
172.10.30.100 master
172.10.30.101 node1
172.10.30.102 node2
将上述配置文件拷贝到集群中的所有节点，包括master节点和node节点。
- 时间同步(使用chrony服务实现)
yum -y install chrony vim /etc/chrony.conf ~~~ server master #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst ~~~~ #注释掉原有的server内容,把原有的时钟同步服务设置为master结点上的时钟同步。
- 关闭所有节点的iptables和firewalld以及selinux
iptables -F
systemctl stop firewalld
systemctl disable firewalld
sed -i '/^SELINUX=/s/SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config
setenforce 0
-
禁止iptables对bridge数据进行处理
cat <<EOF > /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF sysctl -p /etc/sysctl.conf # 不起作用
sysctl -p /etc/sysctl.d/k8s.conf #这样可以
- 关闭swap
swapoff -a sed 's/.*swap.*/#&/' /etc/fstab
3. docker 安装
参考： https://docs.docker.com/install/linux/docker-ce/centos/#uninstall-old-versions
这里安装特定的版本 docker-ce-18.06。
需要注意的是，Kubernetes 1.13已经针对Docker的1.11.1, 1.12.1, 1.13.1, 17.03, 17.06, 17.09, 18.06等版本做了验证，最低支持的Docker版本是1.11.1，最高支持是18.06，而Docker最新版本已经是18.09了，故我们安装时需要指定版本为18.06.1-ce：
#移除旧版docker
yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-selinux \ docker-engine-selinux \ docker-engine #依赖 yum install -y yum-utils \ device-mapper-persistent-data \ lvm2 #docke-ce 官方yum 源 yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo
#阿里的docke-ce yum源 二者用其一
wget -P /etc/yum.repos.d/ https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo #从阿里云获取docker-ce的镜像文件，-P指定下载文件存放的目录 #查看docker版本 yum list docker-ce --showduplicates | sort -r
#安装 yum install docker-ce-18.06.1.ce-3.el7 -y
systemctl start docker
systemctl enable docker
4. kubectl、kubelete、kubeadm安装
cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF setenforce 0
yum install -y kubelet kubeadm kubectl systemctl enable kubelet && systemctl start kubelet
5. 使用kubeadm创建一个单Master集群
5.1初始化Master节点
K8s的控制面板组件运行在Master节点上，包括etcd和API server（Kubectl便是通过API server与k8s通信）。
在执行初始化之前，我们还有一下3点需要注意：
1.选择一个网络插件，并检查它是否需要在初始化Master时指定一些参数，比如我们可能需要根据选择的插件来设置--pod-network-cidr参数。参考：Installing a pod network add-on。
2.kubeadm使用eth0的默认网络接口（通常是内网IP）做为Master节点的advertise address，如果我们想使用不同的网络接口，可以使用--apiserver-advertise-address=<ip-address>参数来设置。如果适应IPv6，则必须使用IPv6d的地址，如：--apiserver-advertise-address=fd00::101。
3.使用kubeadm config images pull来预先拉取初始化需要用到的镜像，用来检查是否能连接到Kubenetes的Registries。
Kubenetes默认Registries地址是k8s.gcr.io，很明显，在国内并不能访问gcr.io，因此在kubeadm v1.13之前的版本，安装起来非常麻烦，但是在1.13版本中终于解决了国内的痛点，其增加了一个--image-repository参数，默认值是k8s.gcr.io，我们将其指定为国内镜像地址：registry.aliyuncs.com/google_containers，其它的就可以完全按照官方文档来愉快的玩耍了。
其次，我们还需要指定--kubernetes-version参数，因为它的默认值是stable-1，会导致从https://dl.k8s.io/release/stable-1.txt下载最新的版本号，我们可以将其指定为固定版本（最新版：v1.13.0）来跳过网络请求。
现在，我们就来试一下：
# 使用calico网络 --pod-network-cidr=192.168.0.0/16 sudo kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.13.0 --pod-network-cidr=192.168.0.0/16
输出
[init] Using Kubernetes version: v1.13.0 [preflight] Running pre-flight checks [preflight] Pulling images required for setting up a Kubernetes cluster [preflight] This might take a minute or two, depending on the speed of your internet connection [preflight] You can also perform this action in beforehand using 'kubeadm config images pull' [kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env" [kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml" [kubelet-start] Activating the kubelet service [certs] Using certificateDir folder "/etc/kubernetes/pki" [certs] Generating "front-proxy-ca" certificate and key [certs] Generating "front-proxy-client" certificate and key [certs] Generating "etcd/ca" certificate and key [certs] Generating "etcd/server" certificate and key [certs] etcd/server serving cert is signed for DNS names [master localhost] and IPs [172.10.30.100 127.0.0.1 ::1] [certs] Generating "etcd/peer" certificate and key [certs] etcd/peer serving cert is signed for DNS names [master localhost] and IPs [172.10.30.100 127.0.0.1 ::1] [certs] Generating "etcd/healthcheck-client" certificate and key [certs] Generating "apiserver-etcd-client" certificate and key [certs] Generating "ca" certificate and key [certs] Generating "apiserver" certificate and key [certs] apiserver serving cert is signed for DNS names [master kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 172.10.30.100] [certs] Generating "apiserver-kubelet-client" certificate and key [certs] Generating "sa" key and public key [kubeconfig] Using kubeconfig folder "/etc/kubernetes" [kubeconfig] Writing "admin.conf" kubeconfig file [kubeconfig] Writing "kubelet.conf" kubeconfig file [kubeconfig] Writing "controller-manager.conf" kubeconfig file [kubeconfig] Writing "scheduler.conf" kubeconfig file [control-plane] Using manifest folder "/etc/kubernetes/manifests" [control-plane] Creating static Pod manifest for "kube-apiserver" [control-plane] Creating static Pod manifest for "kube-controller-manager" [control-plane] Creating static Pod manifest for "kube-scheduler" [etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests" [wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s [apiclient] All control plane components are healthy after 26.004391 seconds [uploadconfig] storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace [kubelet] Creating a ConfigMap "kubelet-config-1.13" in namespace kube-system with the configuration for the kubelets in the cluster [patchnode] Uploading the CRI Socket information "/var/run/dockershim.sock" to the Node API object "master" as an annotation [mark-control-plane] Marking the node master as control-plane by adding the label "node-role.kubernetes.io/master=''" [mark-control-plane] Marking the node master as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule] [bootstrap-token] Using token: 485yy9.azkhnftmz2mf9me5 [bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles [bootstraptoken] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials [bootstraptoken] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token [bootstraptoken] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster [bootstraptoken] creating the "cluster-info" ConfigMap in the "kube-public" namespace [addons] Applied essential addon: CoreDNS [addons] Applied essential addon: kube-proxy Your Kubernetes master has initialized successfully! To start using your cluster, you need to run the following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config You should now deploy a pod network to the cluster. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: https://kubernetes.io/docs/concepts/cluster-administration/addons/ You can now join any number of machines by running the following on each node as root: kubeadm join 172.10.30.100:6443 --token 485yy9.azkhnftmz2mf9me5 --discovery-token-ca-cert-hash sha256:165d19adeaac9bd84837367b414a45b01879dbb8f36092a32b957223904e9c30
这次非常顺利的就部署成功了，如果我们想使用非root用户操作kubectl，可以使用以下命令，这也是kubeadm init输出的一部分：
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config
5.2 安装网络插件
参考： https://kubernetes.io/docs/concepts/cluster-administration/addons/
http://docs.kubernetes.org.cn/459.html
为了让Pods间可以相互通信，我们必须安装一个网络插件，并且必须在部署任何应用之前安装，CoreDNS也是在网络插件安装之后才会启动的。
网络的插件完整列表，请参考 Networking and Network Policy。
在安装之前，我们先查看一下当前Pods的状态：
[kuber@master ~]$ kubectl get pods --all-namespaces NAMESPACE NAME READY STATUS RESTARTS AGE kube-system coredns-78d4cf999f-8z6d6 0/1 Pending 0 3m34s kube-system coredns-78d4cf999f-l4dhk 0/1 Pending 0 3m34s kube-system etcd-master 1/1 Running 0 2m54s kube-system kube-apiserver-master 1/1 Running 0 2m43s kube-system kube-controller-manager-master 1/1 Running 0 2m50s kube-system kube-proxy-4jmf5 1/1 Running 0 3m34s kube-system kube-scheduler-master 1/1 Running 0 2m35s
如上，可以看到CoreDND的状态是Pending，这是因为我们还没有安装网络插件。
Calico是一个纯三层的虚拟网络方案，Calico 为每个容器分配一个 IP，每个 host 都是 router，把不同 host 的容器连接起来。与 VxLAN 不同的是，Calico 不对数据包做额外封装，不需要 NAT 和端口映射，扩展性和性能都很好。
默认情况下，Calico网络插件使用的的网段是192.168.0.0/16，在init的时候，我们已经通过--pod-network-cidr=192.168.0.0/16来适配Calico，当然你也可以修改calico.yml文件来指定不同的网段。
可以使用如下命令命令来安装Canal插件：详细参考: https://docs.projectcalico.org/v3.4/getting-started/kubernetes/
####### [kuber@master ~]$ cat /etc/NetworkManager/conf.d/calico.conf [keyfile] unmanaged-devices=interface-name:cali*;interface-name:tunl* ######## kubectl apply -f \ https://docs.projectcalico.org/v3.4/getting-started/kubernetes/installation/hosted/etcd.yaml ########## kubectl apply -f \ https://docs.projectcalico.org/v3.4/getting-started/kubernetes/installation/hosted/calico.yaml ###### [kuber@master ~]$ kubectl get pods --all-namespaces NAMESPACE NAME READY STATUS RESTARTS AGE kube-system calico-etcd-7w8dl 1/1 Running 0 24m kube-system calico-kube-controllers-5d94b577bb-kswkt 1/1 Running 0 37m kube-system calico-node-vl9cf 1/1 Running 0 7m1s kube-system coredns-78d4cf999f-9cz26 1/1 Running 4 40m kube-system coredns-78d4cf999f-stf4z 1/1 Running 4 40m kube-system etcd-master 1/1 Running 0 39m kube-system kube-apiserver-master 1/1 Running 0 39m kube-system kube-controller-manager-master 1/1 Running 0 39m kube-system kube-proxy-snh7v 1/1 Running 0 40m kube-system kube-scheduler-master 1/1 Running 0 39m
如上，STATUS全部变为了Running，表示安装成功，接下来就可以加入其他节点以及部署应用了。
5.3 master隔离
默认情况下，由于安全原因，集群并不会将pods部署在Master节点上。但是在开发环境下，我们可能就只有一个Master节点，这时可以使用下面的命令来解除这个限制：
kubectl taint nodes --all node-role.kubernetes.io/master-
## 输出
node/master untainted
5.4 加工作节点
要为群集添加工作节点，需要为每台计算机执行以下操作：
- SSH到机器
- 成为root用户，(如: sudo su -)
- 运行上面的
kubeadm init命令输出的：kubeadm join --token <token> <master-ip>:<master-port> --discovery-token-ca-cert-hash sha256:<hash>
如果我们忘记了Master节点的加入token，可以使用如下命令来查看：
kubeadm token list # 输出 TOKEN TTL EXPIRES USAGES DESCRIPTION EXTRA GROUPS 6pkrlg.8glf2fqpuf3i489m 22h 2018-12-07T13:46:33Z authentication,signing The default bootstrap token generated by 'kubeadm init'. system:bootstrappers:kubeadm:default-node-token
默认情况下，token的有效期是24小时，如果我们的token已经过期的话，可以使用以下命令重新生成：
kubeadm token create
# 输出
u2mt59.tyqpo0v5wf05lx2q
如果我们也没有--discovery-token-ca-cert-hash的值，可以使用以下命令生成：
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //' # 输出 eebfe256113bee397b218ba832f412273ae734bd4686241fb910885d26efd222
现在，我们登录到工作节点服务器，然后运行如下命令加入集群（这也是上面init输出的一部分）：
kubeadm join 172.10.30.100:6443 --token 8gl99n.iu0m7c669vm0d1b1 --discovery-token-ca-cert-hash sha256:e3107f0be5fa44f939a6460b0c980a89e6d491dca89f5a44bc6923e40acc8e0b
等待一会，我们可以在Master节点上使用kubectl get nodes命令来查看节点的状态：
[kuber@master ~]$ kubectl get nodes NAME STATUS ROLES AGE VERSION master Ready master 50m v1.13.1 node1 Ready <none> 56s v1.13.1
如上全部Ready，大功告成，我们可以运行一些命令来测试一下集群是否正常。
5.5 测试
首先验证kube-apiserver, kube-controller-manager, kube-scheduler, pod network 是否正常：
# 部署一个 Nginx Deployment，包含两个Pod # https://kubernetes.io/docs/concepts/workloads/controllers/deployment/ kubectl create deployment nginx --image=nginx:alpine kubectl scale deployment nginx --replicas=2 # 验证Nginx Pod是否正确运行，并且会分配192.168.开头的集群IP kubectl get pods -l app=nginx -o wide # 输出如下： NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx-54458cd494-p8jzs 1/1 Running 0 31s 192.168.1.2 node1 <none> <none> nginx-54458cd494-v2m4b 1/1 Running 0 24s 192.168.1.3 node1 <none> <none>
再验证一下kube-proxy是否正常：
# 以 NodePort 方式对外提供服务 https://kubernetes.io/docs/concepts/services-networking/connect-applications-service/ kubectl expose deployment nginx --port=80 --type=NodePort # 查看集群外可访问的Port kubectl get services nginx # 输出 NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE nginx NodePort 10.110.49.49 <none> 80:31899/TCP 4s # 可以通过任意 NodeIP:Port 在集群外部访问这个服务，本示例中部署的2台集群IP分别是172.17.20.210和172.17.20.211 curl http://172.17.20.210:31899 curl http://172.17.20.211:31899
最后验证一下dns, pod network是否正常：
# 运行Busybox并进入交互模式 kubectl run -it curl --image=radial/busyboxplus:curl # 输入`nslookup nginx`查看是否可以正确解析出集群内的IP，已验证DNS是否正常 [ root@curl-66959f6557-6sfqh:/ ]$ nslookup nginx # 输出 Server: 10.96.0.10 Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local Name: nginx Address 1: 10.110.49.49 nginx.default.svc.cluster.local # 通过服务名进行访问，验证kube-proxy是否正常 [ root@curl-66959f6557-6sfqh:/ ]$ curl http://nginx/ # 输出如下： # <!DOCTYPE html> ---省略 # 分别访问一下2个Pod的内网IP，验证跨Node的网络通信是否正常 [ root@curl-66959f6557-6sfqh:/ ]$ curl http://192.168.1.2/ [ root@curl-66959f6557-6sfqh:/ ]$ curl http://192.168.1.3/
