kubeadm安装Kubernetes 1.15 实践
一、环境准备（在全部设备上进行）
3 台 centos7.5 服务器，网络使用 Calico。
| IP地址 | 节点角色 | CPU | 内存 | Hostname |
|---|---|---|---|---|
| 10.0.1.45 | master | 2c | 4G | k8s-master |
| 10.0.1.20 | node | 2c | 4G | node1 |
| 10.0.1.18 | node | 2c | 4G | node2 |
- 设置主机名 hostname。
hostnamectl set-hostname k8s-master
对应上面表格的Hostname，node1与node2同理。
- 编辑3台设备的 host 文件，添加域名解析。
cat <<EOF >>/etc/hosts
10.0.1.45 k8s-master
10.0.1.20 node1
10.0.1.18 node2
EOF
- 关闭防火墙、selinux 和 swap
systemctl stop firewalld
systemctl disable firewalld
禁用SELINUX：
setenforce 0
vim /etc/selinux/config
SELINUX=disabled
关闭swap
swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab
- 配置内核参数，将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
sysctl --system
- kube-proxy 开启 ipvs。
由于ipvs已经加入到了内核的主干，所以为kube-proxy开启ipvs的前提需要加载以下的内核模块：
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack_ipv4
创建 /etc/sysconfig/modules/ipvs.modules 文件，保证在节点重启后能自动加载所需模块。 使用 lsmod | grep -e ip_vs -e nf_conntrack_ipv4 命令查看是否已经正确加载所需的内核模块。
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
- 安装docker
Kubernetes 1.15当前支持的 docker 版本列表是1.13.1, 17.03, 17.06, 17.09, 18.06, 18.09。 这里在各节点安装 docker 的18.09.7版本。
yum install -y yum-utils device-mapper-persistent-data lvm2 &&\
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo &&\
yum install docker-ce-18.09.7-3.el7 -y
- 修改docker cgroup driver为systemd
根据文档CRI installation中的内容，对于使用 systemd 作为init system 的 Linux 的发行版，使用 systemd 作为docker 的 cgroup driver 可以确保服务器节点在资源紧张的情况更加稳定，因此这里修改各个节点上 docker 的 cgroup driver 为 systemd。
vim /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"]
}
#重启docker
systemctl restart docker
#验证
docker info | grep Cgroup
Cgroup Driver: systemd
- 安装 Kubernetes 工具
配置国内 yum 源
yum install -y wget
mkdir /etc/yum.repos.d/bak && mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.cloud.tencent.com/repo/centos7_base.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.cloud.tencent.com/repo/epel-7.repo
yum clean all && yum makecache
配置国内 Kubernetes 源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
安装kubeadm、kubelet、kubectl
yum install -y kubeadm kubelet kubectl
systemctl enable kubelet
二、k8s-master 节点配置
1.使用 kubeadm 初始化 Kubernetes 集群
kubeadm init --kubernetes-version=1.15.0 \
--apiserver-advertise-address=10.0.1.45 \
--image-repository registry.aliyuncs.com/google_containers \
--pod-network-cidr=10.244.0.0/16
参数含义：
--apiserver-advertise-address=10.0.1.45
#定义api server地址就是master本机IP地址。
--image-repository registry.aliyuncs.com/google_containers
#由于kubeadm默认从官网k8s.grc.io下载镜像，以防网络原因，改为阿里云镜像仓库地址。
--pod-network-cidr=10.244.0.0/16
#定义POD网段为： 10.244.0.0/16。
集群初始化成功后返回如下信息：
join 10.0.1.45:6443 --token bybzi7.7201j7f7mtiwtmg4 \
--discovery-token-ca-cert-hash sha256:9186c9b0709af151079bcb034f1771f10f382341bfb45024e5d0c541a055f2eb
- 配置 kubectl 工具
mkdir -p ~/.kube
cp /etc/kubernetes/admin.conf ~/.kube/config
#查看集群状态，确认所有组件都处于healthy状态
kubectl get cs
NAME STATUS MESSAGE ERROR
controller-manager Healthy ok
scheduler Healthy ok
etcd-0 Healthy {"health":"true"}
集群初始化如果遇到问题，可以使用下面的命令进行清理（慎用）：
kubeadm reset
- 安装 Calico v3.8 网络服务
wget https://docs.projectcalico.org/v3.8/manifests/calico.yaml
#由于默认的 calico.yaml 的 Pod 网段为192.168.0.0/16，打开 calico.yaml 文件找到这行改为10.244.0.0/16。
vim calico.yaml
- name: CALICO_IPV4POOL_CIDR
value: "10.244.0.0/16"
kubectl apply -f ./calico.yaml
#查看创建情况，等待每个 pod 的 STATUS 变为 Running。
watch kubectl get pods --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system calico-kube-controllers-6ff88bf6d4-tgtzb 1/1 Running 0 2m45s
kube-system calico-node-24h85 1/1 Running 0 2m43s
kube-system coredns-846jhw23g9-9af73 1/1 Running 0 4m5s
kube-system coredns-846jhw23g9-hmswk 1/1 Running 0 4m5s
kube-system etcd-jbaker-1 1/1 Running 0 6m22s
kube-system kube-apiserver-jbaker-1 1/1 Running 0 6m12s
kube-system kube-controller-manager-jbaker-1 1/1 Running 0 6m16s
kube-system kube-proxy-8fzp2 1/1 Running 0 5m16s
kube-system kube-scheduler-jbaker-1 1/1 Running 0 5m41s
4 设置环境变量
cat > ~/.bash_profile << EOF
export KUBECONFIG=/etc/kubernetes/admin.conf
EOF
三、node 节点配置（在所有node节点上操作）
添加 node 节点,执行如下命令，使所有 node 节点加入 Kubernetes 集群。
kubeadm join 10.0.1.45:6443 --token bybzi7.7201j7f7mtiwtmg4 \
--discovery-token-ca-cert-hash sha256:9186c9b0709af151079bcb034f1771f10f382341bfb45024e5d0c541a055f2eb
成功后，在 k8s-master 中输入命令检查集群状态。
kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master Ready master 36m v1.15.0
node1 Ready <none> 3m10h v1.15.0
node2 Ready <none> 3m v1.15.0
四、部署 Dashboard（在k8s-master上进行操作）
- 下载 Dashboard 的 yaml 文件。
wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml
#修改 yaml 文件中使用的源镜像。
sed -i 's/k8s.gcr.io/loveone/g' kubernetes-dashboard.yaml
#使用 NodePort 模式映射 30001 至 k8s 所有宿主机的 30001 端口上。
sed -i '/targetPort:/a\ \ \ \ \ \ nodePort: 30001\n\ \ type: NodePort' kubernetes-dashboard.yaml
- 部署 Dashboard。
kubectl apply -f kubernetes-dashboard.yaml
- 创建完成后，检查相关服务运行状态。
kubectl get deployment kubernetes-dashboard -n kube-system
NAME READY UP-TO-DATE AVAILABLE AGE
kubernetes-dashboard 1/1 1 1 3m
kubectl get services -n kube-system
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kube-dns ClusterIP 10.96.0.10 <none> 53/UDP,53/TCP,9153/TCP 40m
kubernetes-dashboard NodePort 10.99.190.175 <none> 443:30001/TCP 4m
-
在 Firefox 浏览器输入 Dashboard 访问地址： https://10.0.1.45:30001
注： 由于 Dashborad 的认证原因，谷歌浏览器和 IE 可能无法打开，请使用 Firefox 浏览器。 -
查看访问 Dashboard 的认证令牌。
kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
- 使用输出的 token 登录 Dashboard。
五 创建
1 使用命令创建pod
[root@k8s-master mainfests]# kubectl run nginx-deploy --image=nginx:1.14 --port=80 --replicas=3
[root@k8s-master mainfests]# kubectl get pods
NAME READY STATUS RESTARTS AGE
nginx-deploy-bc9ff65dd-6kvfg 1/1 Running 0 16h
nginx-deploy-bc9ff65dd-ffcl5 1/1 Running 0 16h
nginx-deploy-bc9ff65dd-pvjzt 1/1 Running 0 17h
2 使用yaml创建pod
[root@k8s-master mainfests]# cat pod-demo.yml
apiVersion: v1
kind: Pod
metadata:
name: pod-demo
namespace: default
labels:
app: myapp
tier: frontend
spec:
containers:
- name: myapp
image: nginx:1.14
- name: busybox
image: busybox:latest
command:
- "bin/sh"
- "-c"
- "sleep 3600"
[root@k8s-master mainfests]# kubectl create -f pod-demo.yml
创建一个serviceaccount，使其token只能进入default空间
kubectl create serviceaccount def-ns-admin -n default
kubectl create rolebinding def-ns-admin --clusterrole=admin --serviceaccount=default:def-ns-admin
将token转换为config文件
ADMIN_TOKON=$(kubectl get secret `kubectl get secret | awk '/^dashboard-admin-01/{print $1}'` -o jsonpath={.data.token} | base64 -d)
kubectl config set-credentials default --token=$ADMIN_TOKON --kubeconfig=/root/admin-test.conf
kubectl config set-context default@kubernetes --cluster=kubernetes --user=def-ns-admin --kubeconfig=/root/admin-test.conf
kubectl config use-context default@kubernetes --kubeconfig=/root/admin-test.conf
赵客缦胡缨，吴钩霜雪明。
银鞍照白马，飒沓如流星。
