由于工作的需要， 手工部署一个 Kubernetes 环境(k8s)。（以前都是云上搞定，拿来用）
习惯把这种工作记录下来，自己备查也和别人分享
网上相关文章很多， 我也参考了很多，这里推荐一个 链接
https://www.kubernetes.org.cn/5462.html
可以基于这个链接做， 碰到问题了，再去查其它文章。 当然也可以基于我的文章。 强烈建议读完全文再操作，尤其是最后的ps部分
------------------------------------------------------------------------------------------------------------------------------------------------------------------
1. 首先准备两台机器 ubt 18.04 安装好 docker
| 机器名 | IP | 作用说明 | |
| kube-master | 192.168.0.200 | k8 管理节点 | |
| node1 | 192.168.0.201 | k8 工作节点 |
怎么修改机器名，自己网上查去
hosts 文件为：
192.168.0.200 kube-master
192.168.0.201 node1
关闭防火墙，关闭swap 等
2. 两个难点之一 ， 安装 kubelet kubeadm kubectl
因为访问国外网络慢，所以需要修改 apt-get 的访问源
/etc/apt/sources.list 添加deb 行
deb https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial main
执行
apt-get update
执行
apt-get install -y kubelet kubeadm kubectl
需要 sudo 自己加
可能在 apt-get update 时会碰到 no pubkey ...
执行下面命令解决
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add -
kubelet kubeadm kubectl 安装好了，工作完成了 1/3. kubelet 是k8相关服务，kubectl 是k8s 管理客户端，kubeadm 是部署工具
3. 部署主（管理）节点
本来是执行
kubeadm init --kubernetes-version=v1.15.0 --pod-network-cidr=10.10.0.0/16 --apiserver-advertise-address=192.168.0.200
一步完成， 但是由于国内的网络环境，众所周知的原因，不得不绕弯。两难点之二
在执行 init 的时候 会向 k8s.gcr.io 获取 kube-apiserver:v1.15.0 等 docker 镜像， 但是 k8s.gcr.io 访问不通。
所以，我们要从拉取 别人的镜像， 然后改名， 再执行 kube init . 注意，一定要版本一致，今天是1.15, 明天可能是16 ，
列出需要哪些镜像: command not found hylas@kube-master:~$ kubeadm config images list --kubernetes-version v1.15.0 k8s.gcr.io/kube-apiserver:v1.15.0 k8s.gcr.io/kube-controller-manager:v1.15.0 k8s.gcr.io/kube-scheduler:v1.15.0 k8s.gcr.io/kube-proxy:v1.15.0 k8s.gcr.io/pause:3.1 k8s.gcr.io/etcd:3.3.10 k8s.gcr.io/coredns:1.3.1
拉取镜像 docker pull mirrorgooglecontainers/kube-apiserver:v1.15.0 docker pull mirrorgooglecontainers/kube-controller-manager:v1.15.0 docker pull mirrorgooglecontainers/kube-scheduler:v1.15.0 docker pull mirrorgooglecontainers/kube-proxy:v1.15.0 docker pull mirrorgooglecontainers/pause:3.1 docker pull mirrorgooglecontainers/etcd:3.3.10 docker pull coredns/coredns:1.3.1
改名
docker tag mirrorgooglecontainers/kube-apiserver:v1.15.0 k8s.gcr.io/kube-apiserver:v1.15.0 docker tag mirrorgooglecontainers/kube-controller-manager:v1.15.0 k8s.gcr.io/kube-controller-manager:v1.15.0 docker tag mirrorgooglecontainers/kube-scheduler:v1.15.0 k8s.gcr.io/kube-scheduler:v1.15.0 docker tag mirrorgooglecontainers/kube-proxy:v1.15.0 k8s.gcr.io/kube-proxy:v1.15.0 docker tag mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1 docker tag mirrorgooglecontainers/etcd:3.3.10 k8s.gcr.io/etcd:3.3.10 docker tag coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1
拉取完成后，执行 kubeadm init 。。。。。。。。。。。。。。。。。
成功标志， 出现： kubeadm join 10.10.10.10:6443 --token kekvgu.nw1n76h84f4camj6 \ --discovery-token-ca-cert-hash sha256:4ee74205227c78ca62f2d641635afa4d50e6634acfaa8291f28582c7e3b0e30e
如果没有出现，就说明没成功，根据错误反复弄。 使用 kubeadm reset 清除 kubeadm init 生成的垃圾， 有些文件可以用 rm -rf 删除。
需要记录这行内容： kubeadmin join ......
添加工作节点用到
执行：
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config
执行后 kubectl 环境有了，可以执行 kubectl nodes 看看了。 2/3 的工作量完成了。
4. 主节点生效
现在主节点还是没用，需要搭建一个网络给集群用。
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
执行上面的命令搭建 flannel ， k8s有很多网络选择。 有兴趣的自己研究。
网络搭建完成后，执行刚才保存下来的
kubeadm join ....................
执行完成后kubectl get nodes 可查看到
hylas@kube-master:~$ kubectl get nodes NAME STATUS ROLES AGE VERSION kube-master Ready master 8h v1.15.1 node1 Ready <none> 5h v1.15.1
kube-master ready , node1 是看不到的
5. 添加 node1 工作节点，
在 192.168.0.201 机器上 安装 kubelet kubeadm kubectl 执行 kubeadm join .....
不需要执行 init 和网络
完成后 执行 kubectl get nodes 就能看到 上面这个图了。 恭喜，你的k8s 集群就已经完成了，以后可以增加节点，减少节点。
6. 创建一个 helloword 应用，看看效果
kubectl create deployment nginx --image=nginx kubectl expose deployment nginx --port=80 --type=NodePort
用kubectl 部署， 用 kubectl get nodes, get pods , get cs 查看集群服务状态
打开浏览器： 192.168.0.200：80 看你的hello word ， 大功告成。
3/3 工作完成 文章完结 。
补充：
需要关闭 swap
swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab
#关闭磁盘交换 很重要必须执行
sudo swapoff -a
ps2:
形成第二个 join
kubeadm token create openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \ openssl dgst -sha256 -hex | sed 's/^.* //' kubeadm join 10.4.37.24:6443 --token 4lqozr.xyawinzvspo4zha7 --discovery-token-ca-cert-hash sha256:b6ecd6ad73e072f2290a14213e32b681cd41c9010a9403bb32e1e213f7c167d2
ps3:
强烈建议安装 docker.io 18.09.8 版本
ps4:
解决pod不能访问外网问题
执行
iptables -P INPUT ACCEPT iptables -P FORWARD ACCEPT iptables -F iptables -L -n iptables -t nat -I POSTROUTING -s 192.244.3.0/24 -j MASQUERADE
其中 192.244.3.0 是 kb get pods -o wide 获得的 IP , 在指定的node上执行
参考：
https://codyjava.iteye.com/blog/2435846
http://dockone.io/question/1350
