kubeadm安装Kubernetes13.1集群-三
环境：
master: 192.168.3.100
node01: 192.168.3.101
node02: 192.168.3.102
关闭所有主机防火墙，selinux；
配置主机互信；
master：
1、设置docker和kubernetes的repo文件(阿里)：
cd /etc/yum.repos.d/
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
vim kubernetes.repo
[kubernetes]
name=Kubernetes Repo
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
enabled=1
yum repolist #验证repo
scp docker-ce.repo kubernetes.repo node01:/etc/yum.repos.d/
scp docker-ce.repo kubernetes.repo node02:/etc/yum.repos.d/
2、安装docker、kubelet、kubeadm、kubectl
[root@master ~]# yum install epel-release -y
[root@master ~]# cd
[root@master ~]# wget https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
[root@master ~]# rpm --import yum-key.gpg
[root@master ~]# wget https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
[root@master ~]# rpm --import rpm-package-key.gpg
[root@master ~]# yum install docker-ce kubelet kubeadm kubectl
3、启动
(1)
[root@master ~]# echo "1" >/proc/sys/net/bridge/bridge-nf-call-ip6tables
[root@master ~]# echo "1" >/proc/sys/net/bridge/bridge-nf-call-iptables
创建/etc/sysctl.d/k8s.conf文件，添加如下内容：
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
执行命令使修改生效：
modprobe br_netfilter
sysctl -p /etc/sysctl.d/k8s.conf
[root@master ~]# systemctl daemon-reload
[root@master ~]# systemctl restart docker
(2)
IPvs：(我没有使用ipvs, 所以没有做这一步)
kube-proxy开启ipvs的前置条件：
在所有的Kubelet存在的节点执行以下脚本:
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
上面脚本创建了的/etc/sysconfig/modules/ipvs.modules文件，保证在节点重启后能自动加载所需模块。
使用lsmod | grep -e ip_vs -e nf_conntrack_ipv4命令查看是否已经正确加载所需的内核模块。
接下来还需要确保各个节点上已经安装了ipset软件包: yum install ipset
为了便于查看ipvs的代理规则，最好安装一下管理工具ipvsadm : yum install ipvsadm。
如果以上前提条件如果不满足，则即使kube-proxy的配置开启了ipvs模式，也会退回到iptables模式。
在kubelet的配置文件/etc/sysconfig/kubelet，设置使用ipvs：
KUBE_PROXY_MODE=ipvs
(3)准备镜像
[root@master ~]# rpm -ql kubelet
/etc/kubernetes/manifests
/etc/sysconfig/kubelet
/etc/systemd/system/kubelet.service
/usr/bin/kubelet
[root@master ~]# systemctl enable kubelet #kubelet先设置开机启动，但是先不启动
[root@master ~]# systemctl enable docker
[root@master ~]# kubeadm init --help
[root@master ~]# kubeadm version #查看kubeadm的版本
[root@master ~]# kubeadm config images list #查看kubeadm需要的image版本，然后下载对应的镜像
由于国内不能访问Google，所以只能下载国内站点上的镜像，然后重新打标：
docker pull mirrorgooglecontainers/kube-apiserver:v1.13.1
docker pull mirrorgooglecontainers/kube-controller-manager:v1.13.1
docker pull mirrorgooglecontainers/kube-scheduler:v1.13.1
docker pull mirrorgooglecontainers/kube-proxy:v1.13.1
docker pull mirrorgooglecontainers/pause:3.1
docker pull mirrorgooglecontainers/etcd:3.2.24
docker pull coredns/coredns:1.2.6
docker pull registry.cn-shenzhen.aliyuncs.com/cp_m/flannel:v0.10.0-amd64
为了应对网络不畅通的问题，我们国内网络环境只能提前手动下载相关镜像并重新打 tag :
docker tag mirrorgooglecontainers/kube-apiserver:v1.13.1 k8s.gcr.io/kube-apiserver:v1.13.1
docker tag mirrorgooglecontainers/kube-controller-manager:v1.13.1 k8s.gcr.io/kube-controller-manager:v1.13.1
docker tag mirrorgooglecontainers/kube-scheduler:v1.13.1 k8s.gcr.io/kube-scheduler:v1.13.1
docker tag mirrorgooglecontainers/kube-proxy:v1.13.1 k8s.gcr.io/kube-proxy:v1.13.1
docker tag mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1
docker tag mirrorgooglecontainers/etcd:3.2.24 k8s.gcr.io/etcd:3.2.24
docker tag coredns/coredns:1.2.6 k8s.gcr.io/coredns:1.2.6
docker tag registry.cn-shenzhen.aliyuncs.com/cp_m/flannel:v0.10.0-amd64 quay.io/coreos/flannel:v0.10.0-amd64
docker rmi mirrorgooglecontainers/kube-apiserver:v1.13.1
docker rmi mirrorgooglecontainers/kube-controller-manager:v1.13.1
docker rmi mirrorgooglecontainers/kube-scheduler:v1.13.1
docker rmi mirrorgooglecontainers/kube-proxy:v1.13.1
docker rmi mirrorgooglecontainers/pause:3.1
docker rmi mirrorgooglecontainers/etcd:3.2.24
docker rmi coredns/coredns:1.2.6
docker rmi registry.cn-shenzhen.aliyuncs.com/cp_m/flannel:v0.10.0-amd64
(4)
[root@master ~]# vim /etc/sysconfig/kubelet #设置忽略Swap启动的状态错误
KUBELET_EXTRA_ARGS="--fail-swap-on=false"
初始化集群：
[root@master ~]# kubeadm init --kubernetes-version=v1.13.1 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.96.0.0/12 --ignore-preflight-errors=Swap
要开始使用集群，需要以常规用户身份运行以下命令:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config #root用户的话，这条命令就不用执行了
可以通过在每个节点上运行以下命令加入集群，但是现在不用添加：
sha256:3a5c7da23306cf1e869fec140e4d187056edf146affe5c6ee8007cc2de6b349b #初始化集群会生成
4、kubectl命令
[root@master ~]# kubectl get cs #检查各组件健康状况
[root@master ~]# kubectl get nodes #查看节点
[root@master ~]# kubectl get ns #查看所有名称空间
[root@master ~]# kubectl describe node node01 #查看一个节点的详细信息
[root@master ~]# kubectl cluster-info #查看集群信息
5、部署flannel
[root@master ~]# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
[root@master ~]# kubectl get pods -n kube-system #查看当前节点所有pod状态，-n：指定namespace
node01：
1、
[root@master ~]# scp rpm-package-key.gpg node01:/root/
2、
[root@node01 ~]# yum install docker-ce kubelet kubeadm
[root@master ~]# scp /usr/lib/systemd/system/docker.service node01:/usr/lib/systemd/system/docker.service
[root@master ~]# scp /etc/sysconfig/kubelet node01:/etc/sysconfig/
[root@node01 ~]# systemctl daemon-reload
[root@node01 ~]# systemctl start docker
[root@node01 ~]# systemctl enable docker
[root@node01 ~]# systemctl enable kubelet
[root@node01 ~]# echo "1" >/proc/sys/net/bridge/bridge-nf-call-ip6tables
[root@node01 ~]# echo "1" >/proc/sys/net/bridge/bridge-nf-call-iptables
3、
[root@master ~]# scp myimages.gz node01:/root/ #将master的镜像打包copy到node01
[root@node01 ~]# docker load -i myimages.gz
[root@node01 ~]# docker tag fdb321fd30a0 k8s.gcr.io/kube-proxy:v1.13.1
[root@node01 ~]# docker tag 40a63db91ef8 k8s.gcr.io/kube-apiserver:v1.13.1
[root@node01 ~]# docker tag ab81d7360408 k8s.gcr.io/kube-scheduler:v1.13.1
[root@node01 ~]# docker tag 26e6f1db2a52 k8s.gcr.io/kube-controller-manager:v1.13.1
[root@node01 ~]# docker tag f59dcacceff4 k8s.gcr.io/coredns:1.2.6
[root@node01 ~]# docker tag 3cab8e1b9802 k8s.gcr.io/etcd:3.2.24
[root@node01 ~]# docker tag f0fad859c909 quay.io/coreos/flannel:v0.10.0-amd64
[root@node01 ~]# docker tag da86e6ba6ca1 k8s.gcr.io/pause:3.1
[root@node01 ~]# kubeadm join 192.168.3.100:6443 --token nscdt6.1f73g6w9t80tddx0 --discovery-token-ca-cert-hash
sha256:3a5c7da23306cf1e869fec140e4d187056edf146affe5c6ee8007cc2de6b349b --ignore-preflight-errors=Swap
node02 ：
1、
[root@master ~]# scp rpm-package-key.gpg node02:/root/
[root@node02 ~]# yum install docker-ce kubelet kubeadm
[root@master ~]# scp /usr/lib/systemd/system/docker.service node02:/usr/lib/systemd/system/docker.service
[root@master ~]# scp /etc/sysconfig/kubelet node02:/etc/sysconfig/
[root@node02 ~]# systemctl daemon-reload
[root@node02 ~]# systemctl start docker
[root@node02 ~]# systemctl enable docker
[root@node02 ~]# systemctl enable kubelet
[root@node02 ~]# echo "1" >/proc/sys/net/bridge/bridge-nf-call-ip6tables
[root@node02 ~]# echo "1" >/proc/sys/net/bridge/bridge-nf-call-iptables
2、
[root@master ~]# scp myimages.gz node02:/root/ #将master的镜像copy到node02
[root@node02 ~]# docker load -i myimages.gz
[root@node02 ~]# docker tag fdb321fd30a0 k8s.gcr.io/kube-proxy:v1.13.1
[root@node02 ~]# docker tag 40a63db91ef8 k8s.gcr.io/kube-apiserver:v1.13.1
[root@node02 ~]# docker tag ab81d7360408 k8s.gcr.io/kube-scheduler:v1.13.1
[root@node02 ~]# docker tag 26e6f1db2a52 k8s.gcr.io/kube-controller-manager:v1.13.1
[root@node02 ~]# docker tag f59dcacceff4 k8s.gcr.io/coredns:1.2.6
[root@node02 ~]# docker tag 3cab8e1b9802 k8s.gcr.io/etcd:3.2.24
[root@node02 ~]# docker tag f0fad859c909 quay.io/coreos/flannel:v0.10.0-amd64
[root@node02 ~]# docker tag da86e6ba6ca1 k8s.gcr.io/pause:3.1
[root@node02 ~]# kubeadm join 192.168.3.100:6443 --token nscdt6.1f73g6w9t80tddx0 --discovery-token-ca-cert-hash
sha256:3a5c7da23306cf1e869fec140e4d187056edf146affe5c6ee8007cc2de6b349b --ignore-preflight-errors=Swap
最后：检查集群状况
[root@master ~]# kubectl get cs #检查各组件健康状况
[root@master ~]# kubectl get nodes #查看节点
[root@master ~]# kubectl get ns #查看所有名称空间
[root@master ~]# kubectl describe node node01 #查看一个节点的详细信息
[root@master ~]# kubectl cluster-info #查看集群信息
