k8s02_安装

写在前面

先准备一台安装好的纯净虚拟机，k8s安装起来还是很麻烦的，初学者要搞半天，建议严格按照我的操作来，不然不能保证会出现什么错误。
CentOS7安装：https://www.cnblogs.com/yaowy001/p/15863706.html

克隆虚拟机

克隆安装好的虚拟机两台，此时一共三台。
注意，这个纯净版是没有vim的，我们只能使用vi命令。

修改三台虚拟机的名字

分别开启三台虚拟机，因为是克隆的，所以ip是一样的，可能会冲突，修改完一台关机再去修改另一台。
vi /etc/hostname, 分别在三台虚拟机的配置文件中写入master，node1, node2。

修改ip和DNS

分别开启三台虚拟机，因为是克隆的，所以ip是一样的，可能会冲突，修改完一台关机再去修改另一台。
vi /etc/sysconfig/network-scripts/ifcfg-ens33
这个网卡文件名字可能不一样，自己找找。

三台的ip要不一样，DNS1最好设置成比较有名的，例如8.8.8.8，不然下载文件可能解析域名出现问题。

到了这里就可以重新启动三台虚拟机了，都打开，然后用mobaxterm连接三台虚拟机，并且使用同时操作模式，因为接下来的操作需要三台虚拟机一样。就像这样

在任意一台虚拟机上输入命令，三台同时操作。

主机名解析

为了方便集群节点间的直接调用，在这个配置一下主机名解析，企业中推荐使用内部DNS服务器
vi /etc/hosts，写上这些内容并且保存

192.168.1.110 master
192.168.1.111 node1
192.168.1.112 node2

ip写上自己的。然后在三台虚拟机上同时执行 ping master，ping node1，ping node2，看看能否互通

三条命令都要执行

时间同步

kubernetes要求集群中的节点时间必须精确一直，这里使用chronyd服务从网络同步时间
企业中建议配置内部的会见同步服务器

# 安装chronyd,注意安装名字
[root@master ~]# yum -y install chrony
# 启动chronyd服务
[root@master ~]# systemctl start chronyd
[root@master ~]# systemctl enable chronyd
[root@master ~]# date

禁用selinux

selinux是linux系统下的一个安全服务，如果不关闭它，在安装集群中会产生各种各样的奇葩问题
编辑 /etc/selinux/config 文件，修改SELINUX的值为disable

注意修改完毕之后需要重启linux服务，不过我们暂时不重启，因为后面还有工作要做。

禁用swap分区

swap分区指的是虚拟内存分区，它的作用是物理内存使用完，之后将磁盘空间虚拟成内存来使用，启用swap设备会对系统的性能产生非常负面的影响，因此kubernetes要求每个节点都要禁用swap设备，但是如果因为某些原因确实不能关闭swap分区，就需要在集群安装过程中通过明确的参数进行配置说明
编辑分区配置文件/etc/fstab，注释掉swap分区一行
vi /etc/fstab

修改linux的内核参数

修改linux的内核采纳数，添加网桥过滤和地址转发功能
编辑/etc/sysctl.d/kubernetes.conf文件，添加如下配置：

net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1

# 重新加载配置
[root@master ~]# sysctl -p
# 加载网桥过滤模块
[root@master ~]# modprobe br_netfilter
# 查看网桥过滤模块是否加载成功
[root@master ~]# lsmod | grep br_netfilter

配置ipvs功能

在Kubernetes中Service有两种带来模型，一种是基于iptables的，一种是基于ipvs的两者比较的话，ipvs的性能明显要高一些，但是如果要使用它，需要手动载入ipvs模块

# 1.安装ipset和ipvsadm
[root@master ~]# yum install ipset ipvsadm -y
# 2.添加需要加载的模块写入脚本文件
[root@master ~]# cat <<EOF > /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
# 3.为脚本添加执行权限
[root@master ~]# chmod +x /etc/sysconfig/modules/ipvs.modules
# 4.执行脚本文件
[root@master ~]# /bin/bash /etc/sysconfig/modules/ipvs.modules
# 5.查看对应的模块是否加载成功
[root@master ~]# lsmod | grep -e ip_vs -e nf_conntrack_ipv4

安装docker

# 1、切换镜像源
[root@master ~]# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

# 2、查看当前镜像源中支持的docker版本
[root@master ~]# yum list docker-ce --showduplicates

# 3、安装特定版本的docker-ce
# 必须制定--setopt=obsoletes=0，否则yum会自动安装更高版本
[root@master ~]# yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y

# 4、添加一个配置文件
#Docker 在默认情况下使用Vgroup Driver为cgroupfs，而Kubernetes推荐使用systemd来替代cgroupfs
[root@master ~]# mkdir /etc/docker
[root@master ~]# cat <<EOF > /etc/docker/daemon.json
{
	"exec-opts": ["native.cgroupdriver=systemd"],
	"registry-mirrors": ["https://kn0t2bca.mirror.aliyuncs.com"]
}
EOF

# 5、启动dokcer
[root@master ~]# systemctl restart docker
[root@master ~]# systemctl enable docker

安装Kubernetes组件

由于kubernetes的镜像在国外，速度比较慢，这里切换成国内的镜像源
编辑/etc/yum.repos.d/kubernetes.repo,添加下面的配置

[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgchech=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
			http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

安装kubeadm、kubelet和kubectl

yum install --setopt=obsoletes=0 kubeadm-1.17.4-0 kubelet-1.17.4-0 kubectl-1.17.4-0 -y

配置kubelet的cgroup,编辑/etc/sysconfig/kubelet, 添加下面的配置,注意，刚打开这个文件的时候里面已经有点东西了，先删了，在写入如下内容。

KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"

设置kubelet开机自启
systemctl enable kubelet

准备集群镜像

在安装kubernetes集群之前，必须要提前准备好集群需要的镜像，所需镜像可以通过kubeadm config images list查看

然后顺序执行下面的命令，记住，一条执行完毕才能执行下一条，因为有的机子可能会拉取镜像失败，拉取失败的，你还需要单独再执行一遍。这里是我搞了几天，看了很多博客才总结出来的。将这些命令里的版本对应地替换为上一命令中查询到的版本号。

docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.17.4
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.17.4
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.17.4
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.17.4
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.3-0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.6.5

再次重申，版本号一定要替换为自己查询到的对应软件的版本号，不然可能会报错，再就是命令一定要一条一条的执行，中间极有可能拉取失败，他不是所有的机子同时失败，可能某一条命令就一台机子失败，需要单独再拉取一遍。

集群初始化

好了，到了这一步，三台机子重启一下
下面的操作只需要在master上执行，在哪台机子上执行，哪台机子就是master。我们就在主机名是master的机子上执行。

kubeadm init \
--apiserver-advertise-address=192.168.1.110 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version=v1.17.4 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16

其中--apiserver-advertise-address=192.168.1.110 \中的ip地址替换为你的master的ip。执行完了会看到这个场景说明master初始化成功。

看到绿色的successful就说明我们初始化master成功。然后他提示需要在master上执行标记1处的三条命令，我们执行一遍，然后再另外两台node节点上分别执行标记2的命令。如果没有报错的话，node节点也初始化成功。注意，这两处命令最好是在自己的master机子上复制。
执行 kubectl get nodes查看集群状况

出现图中所示，则集群安装成功。

可能出现的错误

[ERROR Port-10259]: Port 10259 is in use
[ERROR Port-10257]: Port 10257 is in use
[ERROR FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml]: /etc/kubernetes/manifests/kube-apiserver.yaml already exists
[ERROR FileAvailable--etc-kubernetes-manifests-kube-controller-manager.yaml]: /etc/kubernetes/manifests/kube-controller-manager.yaml already exists
[ERROR FileAvailable--etc-kubernetes-manifests-kube-scheduler.yaml]: /etc/kubernetes/manifests/kube-scheduler.yaml already exists
[ERROR FileAvailable--etc-kubernetes-manifests-etcd.yaml]: /etc/kubernetes/manifests/etcd.yaml already exists
[ERROR Port-10250]: Port 10250 is in use

该错误可能因为操作过程中某一步错了，在master上出现，执行kubeadm reset重置k8s的master，然后重新执行初始化命令。

安装网络插件

安装完集群以后可以发现两台node节点是未就绪状态，是因为没有给他安装网络插件。安装网络插件只在master节点上执行即可

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

由于外网不好，可能下载非常慢或者直接下载失败，可以直接用下面的文件下载，文件名是kube-flannel.yml，位置是/root/kube-flannel.yml
文件内容如下：

---
apiVersion: policy/v1beta1
kind: PodSecurityPolicy
metadata:
  name: psp.flannel.unprivileged
  annotations:
    seccomp.security.alpha.kubernetes.io/allowedProfileNames: docker/default
    seccomp.security.alpha.kubernetes.io/defaultProfileName: docker/default
    apparmor.security.beta.kubernetes.io/allowedProfileNames: runtime/default
    apparmor.security.beta.kubernetes.io/defaultProfileName: runtime/default
spec:
  privileged: false
  volumes:
  - configMap
  - secret
  - emptyDir
  - hostPath
  allowedHostPaths:
  - pathPrefix: "/etc/cni/net.d"
  - pathPrefix: "/etc/kube-flannel"
  - pathPrefix: "/run/flannel"
  readOnlyRootFilesystem: false
  # Users and groups
  runAsUser:
    rule: RunAsAny
  supplementalGroups:
    rule: RunAsAny
  fsGroup:
    rule: RunAsAny
  # Privilege Escalation
  allowPrivilegeEscalation: false
  defaultAllowPrivilegeEscalation: false
  # Capabilities
  allowedCapabilities: ['NET_ADMIN', 'NET_RAW']
  defaultAddCapabilities: []
  requiredDropCapabilities: []
  # Host namespaces
  hostPID: false
  hostIPC: false
  hostNetwork: true
  hostPorts:
  - min: 0
    max: 65535
  # SELinux
  seLinux:
    # SELinux is unused in CaaSP
    rule: 'RunAsAny'
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: flannel
rules:
- apiGroups: ['extensions']
  resources: ['podsecuritypolicies']
  verbs: ['use']
  resourceNames: ['psp.flannel.unprivileged']
- apiGroups:
  - ""
  resources:
  - pods
  verbs:
  - get
- apiGroups:
  - ""
  resources:
  - nodes
  verbs:
  - list
  - watch
- apiGroups:
  - ""
  resources:
  - nodes/status
  verbs:
  - patch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: flannel
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: flannel
subjects:
- kind: ServiceAccount
  name: flannel
  namespace: kube-system
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: flannel
  namespace: kube-system
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: kube-flannel-cfg
  namespace: kube-system
  labels:
    tier: node
    app: flannel
data:
  cni-conf.json: |
    {
      "name": "cbr0",
      "cniVersion": "0.3.1",
      "plugins": [
        {
          "type": "flannel",
          "delegate": {
            "hairpinMode": true,
            "isDefaultGateway": true
          }
        },
        {
          "type": "portmap",
          "capabilities": {
            "portMappings": true
          }
        }
      ]
    }
  net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "vxlan"
      }
    }
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: kube-flannel-ds
  namespace: kube-system
  labels:
    tier: node
    app: flannel
spec:
  selector:
    matchLabels:
      app: flannel
  template:
    metadata:
      labels:
        tier: node
        app: flannel
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: kubernetes.io/os
                operator: In
                values:
                - linux
      hostNetwork: true
      priorityClassName: system-node-critical
      tolerations:
      - operator: Exists
        effect: NoSchedule
      serviceAccountName: flannel
      initContainers:
      - name: install-cni
        image: quay.io/coreos/flannel:v0.14.0
        command:
        - cp
        args:
        - -f
        - /etc/kube-flannel/cni-conf.json
        - /etc/cni/net.d/10-flannel.conflist
        volumeMounts:
        - name: cni
          mountPath: /etc/cni/net.d
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      containers:
      - name: kube-flannel
        image: quay.io/coreos/flannel:v0.14.0
        command:
        - /opt/bin/flanneld
        args:
        - --ip-masq
        - --kube-subnet-mgr
        resources:
          requests:
            cpu: "100m"
            memory: "50Mi"
          limits:
            cpu: "100m"
            memory: "50Mi"
        securityContext:
          privileged: false
          capabilities:
            add: ["NET_ADMIN", "NET_RAW"]
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        volumeMounts:
        - name: run
          mountPath: /run/flannel
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      volumes:
      - name: run
        hostPath:
          path: /run/flannel
      - name: cni
        hostPath:
          path: /etc/cni/net.d
      - name: flannel-cfg
        configMap:
          name: kube-flannel-cfg

直接在/root目录下创建文件kube-flannel.yml，复制上面内容进去。
然后执行kubectl apply -f kube-flannel.yml，因为我一直在root目录下。如果没有报错则说明安装成功。还需要等待一会儿，博主我等了大概三分钟。
执行kubectl get nodes，可以发现

说明已经安装成功，集群内部可以通信。

集群测试

部署Nginx

kubectl create deployment nginx  --image=nginx:1.14-alpine

暴露端口

kubectl expose deploy nginx  --port=80 --target-port=80  --type=NodePort

查看服务

kubectl get pod,svc

这个31321就是k8s暴露的nginx端口号

浏览器上测试访问

在浏览器地址栏分别输入192.168.1.120:31321、192.168.1.121:31321、192.168.1.122:31321。ip和端口号以自己的为准。三个地址均能访问到nginx的首页，则说明k8s搭建完成。

大功告成