青云KubeSphere 容器平台部署教程
1.安装环境
操作系统版本：
#cat /etc/redhat-release
CentOS Linux release 7.6.1810 (Core)
内核版本：
#uname -a
Linux master01 3.10.0-1127.el7.x86_64 #1 SMP Tue Mar 31 23:36:51 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux
机器配置： 8CPU 16G内存 100G磁盘
主机名 IP 地址
192.168.26.1 #集群VIP
192.168.26.2 lb1
192.168.26.3 lb2
192.168.26.4 master01
192.168.26.5 master02
192.168.26.6 master03
2.修改master和node的hosts文件
# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.26.1 #集群VIP
192.168.26.2 lb1
192.168.26.3 lb2
192.168.26.4 master01
192.168.26.5 master02
192.168.26.6 master03
3.安装chrony实现所有服务器间的时间同步
# yum install chrony -y
# systemctl start chronyd
# sed -i -e '/^server/s/^/#/' -e '1a server ntp.aliyun.com iburst' /etc/chrony.conf
# systemctl restart chronyd
# timedatectl set-timezone Asia/Shanghai
# timedatectl
Local time: Fri 2020-11-27 16:06:42 CST
Universal time: Fri 2020-11-27 08:06:42 UTC
RTC time: Fri 2020-11-27 08:06:42
Time zone: Asia/Shanghai (CST, +0800)
NTP enabled: yes
NTP synchronized: yes
RTC in local TZ: no
DST active: n/a
4.关闭所有节点的防火墙和selinux
# systemctl stop firewalld && systemctl disable firewalld
# sed -ri 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
# 主要查看SELINUX=disabled，如果SELINUX=eabled 需要修改为disabled
# setenforce 0
# getenforce
# 关掉swap
# swapoff -a
# 要永久禁掉swap分区，打开如下文件注释掉swap那一行
# vi /etc/fstab
5.配置系统内核参数和调优
配置sysctl内核参数
$ cat > /etc/sysctl.conf <<EOF
vm.max_map_count=262144
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
生效文件
$ sysctl -p
修改Linux 资源配置文件，调高ulimit最大打开数和systemctl管理的服务文件最大打开数
$ echo "* soft nofile 655360" >> /etc/security/limits.conf
$ echo "* hard nofile 655360" >> /etc/security/limits.conf
$ echo "* soft nproc 655360" >> /etc/security/limits.conf
$ echo "* hard nproc 655360" >> /etc/security/limits.conf
$ echo "* soft memlock unlimited" >> /etc/security/limits.conf
$ echo "* hard memlock unlimited" >> /etc/security/limits.conf
$ echo "DefaultLimitNOFILE=1024000" >> /etc/systemd/system.conf
$ echo "DefaultLimitNPROC=1024000" >> /etc/systemd/system.conf
6.集群节点上安装docker
# 安装依赖包
# yum install -y yum-utils device-mapper-persistent-data lvm2
# 添加docker软件包的yum源
# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# 关闭测试版本list（只显示稳定版）
# yum-config-manager --enable docker-ce-edge
# yum-config-manager --enable docker-ce-test
# 更新yum包索引
# yum makecache fast
# 安装docker
# 直接安装Docker CE
# yum install docker-ce
# 若需要安装指定版本的Docker CE
# yum list docker-ce --showduplicates|sort -r #找到需要安装的
# yum install docker-ce-18.06.0.ce -y
#启动docker
# systemctl start docker & systemctl enable docker
#配置docker 使用阿里云加速
#vi /etc/docker/daemon.json
{
"registry-mirrors": ["https://q2hy3fzi.mirror.aliyuncs.com"]
}
#systemctl daemon-reload && systemctl restart docker
7. 配置节点间ssh互信
配置ssh互信，那么节点之间就能无密访问，方便日后执行自动化部署
# ssh-keygen # 每台机器执行这个命令， 一路回车即可
# ssh-copy-id node # 到master上拷贝公钥到其他节点，这里需要输入 yes和密码
8.先来认识一下青云的kubesphere
官网地址： https://kubesphere.com.cn/
KubeSphere 是在 Kubernetes 之上构建的面向云原生应用的 容器混合云，支持多云与多集群管理，提供全栈的 IT 自动化运维的能力，简化企业的 DevOps 工作流。
KubeSphere 提供了运维友好的向导式操作界面，帮助企业快速构建一个强大和功能丰富的容器云平台。
KubeSphere 愿景是打造一个基于 Kubernetes 的云原生分布式操作系统，它的架构可以很方便地与云原生生态进行即插即用（plug-and-play）的集成。
9.配置高可用负载均衡节点(在两个lb节点执行)
在两个lb 节点上分别安装haproxy 和 keepalived
#yum install haproxy -y
#systemctl restart haproxy && systemctl enable haproxy
#修改haproxy 的配置文件
# cat /etc/haproxy/haproxy.cfg
#---------------------------------------------------------------------
# Example configuration for a possible web application. See the
# full configuration options online.
#
# http://haproxy.1wt.eu/download/1.4/doc/configuration.txt
#
#---------------------------------------------------------------------
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
# to have these messages end up in /var/log/haproxy.log you will
# need to:
#
# 1) configure syslog to accept network log events. This is done
# by adding the '-r' option to the SYSLOGD_OPTIONS in
# /etc/sysconfig/syslog
#
# 2) configure local2 events to go to the /var/log/haproxy.log
# file. A line like the following can be added to
# /etc/sysconfig/syslog
#
# local2.* /var/log/haproxy.log
#
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
# turn on stats unix socket
stats socket /var/lib/haproxy/stats
listen stats
mode http
bind 0.0.0.0:9000
stats enable
stats hide-version
stats uri /
stats realm Haproxy\ Statistics
stats admin if TRUE #启用管理功能
stats hide-version
stats refresh 30s
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
log global
option httplog
option dontlognull
timeout connect 5000
timeout client 5000
timeout server 5000
#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
frontend kube-apiserver
bind *:6443
mode tcp
option tcplog
default_backend kube-apiserver
#---------------------------------------------------------------------
# static backend for serving up images, stylesheets and such
#---------------------------------------------------------------------
backend kube-apiserver
mode tcp
option tcplog
balance roundrobin
default-server inter 10s downinter 5s rise 2 fall 2 slowstart 60s maxconn 250 maxqueue 256 weight 100
server kube-apiserver-1 192.168.26.4:6443 check
server kube-apiserver-2 192.168.26.5:6443 check
server kube-apiserver-3 192.168.26.6:6443 check
#---------------------------------------------------------------------
# round robin balancing between the various backends
#---------------------------------------------------------------------
frontend ingress-http
bind *:80
default_backend ingress-http
mode tcp
option tcplog
backend ingress-http
balance source
mode tcp
server master1 192.168.26.4:30880 check
server master2 192.168.26.5:30880 check
server master3 192.168.26.6:30880 check
#重启haproxy服务
#yum install keepalived -y
#systemctl restart keepalived && systemctl enable keepalived
修改keepalived 的 配置文件：
主节点的配置为：
[root@lb1 ~]# cat /etc/keepalived/keepalived.conf
global_defs {
notification_email {
}
router_id LVS_DEVEL02
vrrp_skip_check_adv_addr
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_script chk_haproxy {
script "killall -0 haproxy"
interval 2
weight 2
}
vrrp_instance haproxy-vip {
state BACKUP
priority 90
interface eth0
virtual_router_id 60
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
unicast_src_ip 192.168.26.2
unicast_peer {
192.168.26.3
}
virtual_ipaddress {
192.168.26.1/20
}
track_script {
chk_haproxy
}
}
[root@lb1 ~]#
#备节点的配置为：
[root@lb2 ~]# cat /etc/keepalived/keepalived.conf
global_defs {
notification_email {
}
smtp_connect_timeout 30
router_id LVS_DEVEL01
vrrp_skip_check_adv_addr
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_script chk_haproxy {
script "killall -0 haproxy"
interval 2
weight 2
}
vrrp_instance haproxy-vip {
state MASTER
priority 100
interface eth0
virtual_router_id 60
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
unicast_src_ip 192.168.26.3
unicast_peer {
192.168.26.2
}
virtual_ipaddress {
#vip
192.168.26.1/20
}
track_script {
chk_haproxy
}
}
[root@lb2 ~]#
#重启两个节点的keepalived
#打开浏览器访问haproxy 的监控信息
#http://192.168.26.1:9000/ 我的截图是后截的，默认负载到后端是红色的。
10.开始部署青云KubeSphere 容器平台(在master01 三操作)
从 v3.0.0 开始，KubeSphere 将基于 ansible 的安装程序更改为使用 Go 语言开发的名为 KubeKey 的新安装程序。使用 KubeKey，可以轻松、高效、灵活地单独或整体安装 Kubernetes 和 KubeSphere。
有三种情况可以使用 KubeKey。
1.仅安装 Kubernetes
2.用一个命令中安装 Kubernetes 和 KubeSphere
3.首先安装 Kubernetes，然后使用 ks-installer 在其上部署 KubeSphere
重要提示：Kubekey 将会帮您安装 Kubernetes，若已有 Kubernetes 集群请参考 在 Kubernetes 之上安装 KubeSphere。
优势
1.基于 Ansible 的安装程序具有大量软件依赖性，例如 Python。KubeKey 是使用 Go 语言开发的，可以消除在各种环境中出现的问题，从而提高安装成功率。
2.KubeKey 使用 Kubeadm 在节点上尽可能多地并行安装 K8s 集群，以降低安装复杂性并提高效率。与较早的安装程序相比，它将大大节省安装时间。
3.KubeKey 支持将群集从 all-in-one 扩展到多节点群集甚至 HA 集群。
4.KubeKey 旨在将群集当作一个对象操作，即 CaaO。
支持的环境
Linux 发行版 Ubuntu 16.04, 18.04 Debian Buster, Stretch CentOS/RHEL 7 SUSE Linux Enterprise Server 15
Kubernetes 版本
v1.15: v1.15.12
v1.16: v1.16.13
v1.17: v1.17.9 (默认)
v1.18: v1.18.6
注意: KubeSphere目前暂不支持运行在k8s 1.19.x之上。
最低资源要求（仅对于最小安装 KubeSphere）：
2 核虚拟 CPU 4 GB 内存 20 GB 储存空间
/var/lib/docker 主要用于存储容器数据，在使用和操作过程中会逐渐增大。对于生产环境，建议 /var/lib/docker 单独挂盘。
操作系统要求：
1.SSH 可以访问所有节点。
2.所有节点的时间同步。
3.sudo/curl/openssl 应在所有节点使用。
4.docker 可以自己安装，也可以通过 KubeKey 安装。
5.Red Hat 在其 Linux 发行版本中包括了SELinux，建议关闭SELinux或者将SELinux的模式切换为Permissive[宽容]工作模式
7.建议您的操作系统环境足够干净 (不安装任何其他软件)，否则可能会发生冲突。
8.如果在从 dockerhub.io 下载镜像时遇到问题，建议准备一个容器镜像仓库 (加速器)。为 Docker 守护程序配置镜像加速。
9.默认情况下，KubeKey 将安装 OpenEBS 来为开发和测试环境配置 LocalPV，这对新用户来说非常方便。对于生产，请使用 NFS/Ceph/GlusterFS 或商业化存储作为持久化存储，并在所有节点中安装相关的客户端 。
10.如果遇到拷贝时报权限问题Permission denied,建议优先考虑查看SELinux的原因。
依赖要求:
KubeKey 可以同时安装 Kubernetes 和 KubeSphere。根据 KubeSphere 所安装版本的不同，您所需要安装的依赖可能也不同。请参考以下表格查看您是否需要提前在节点上安装有关的依赖。
网络和 DNS 要求：
确保 /etc/resolv.conf 中的 DNS 地址可用。否则，可能会导致群集中出现某些 DNS 问题。
如果您的网络配置使用防火墙或安全组，则必须确保基础结构组件可以通过特定端口相互通信。建议您关闭防火墙或遵循链接配置：网络访问。
获取安装程序可执行文件
# yum install -y git
# git clone https://github.com/kubesphere/kubekey.git
#cd kubekey-1.0.1
#./build.sh -p
注意：
#在构建之前，需要先安装 Docker。
#如果无法访问 https://proxy.golang.org/，比如在大陆，请执行 build.sh -p
创建集群
这里我们使用高级用法：
#mkdir /root/kubekey-1.0.1/myfolder/
#cd /root/ kubekey-1.0.1
#./output/kk create config --with-kubesphere -f /root/kubekey-1.0.1/myfolder/config.yaml
创建出来的文件可按照如下的模版修改：
apiVersion: kubekey.kubesphere.io/v1alpha1
kind: Cluster
metadata:
name: kubesphere
spec:
hosts:
- {name: master01, address: 192.168.26.4, internalAddress: 192.168.26.4, user: root, password: hcy3R0vs0rHhibnfgLvr}
- {name: master02, address: 192.168.26.5, internalAddress: 192.168.26.5, user: root, password: hcy3R0vs0rHhibnfgLvr}
- {name: master03, address: 192.168.26.6, internalAddress: 192.168.26.6, user: root, password: hcy3R0vs0rHhibnfgLvr}
roleGroups:
etcd:
- master01
- master02
- master03
master:
- master01
- master02
- master03
worker:
- master01
- master02
- master03
controlPlaneEndpoint:
domain: kubesphere.alauda.cn
address: "192.168.26.1"
port: "6443"
kubernetes:
version: v1.17.9
imageRepo: kubesphere
clusterName: cluster.local
network:
plugin: calico
kubePodsCIDR: 10.233.64.0/18
kubeServiceCIDR: 10.233.0.0/18
registry:
registryMirrors: []
insecureRegistries: []
addons: []
---
apiVersion: installer.kubesphere.io/v1alpha1
kind: ClusterConfiguration
metadata:
name: ks-installer
namespace: kubesphere-system
labels:
version: v3.0.0
spec:
local_registry: ""
persistence:
storageClass: ""
authentication:
jwtSecret: ""
etcd:
monitoring: true
endpointIps: 192.168.26.4,192.168.26.5,192.168.26.6
port: 2379
tlsEnable: true
common:
es:
elasticsearchDataVolumeSize: 20Gi
elasticsearchMasterVolumeSize: 4Gi
elkPrefix: logstash
logMaxAge: 7
mysqlVolumeSize: 20Gi
minioVolumeSize: 20Gi
etcdVolumeSize: 20Gi
openldapVolumeSize: 2Gi
redisVolumSize: 2Gi
console:
enableMultiLogin: false # enable/disable multi login
port: 30880
alerting:
enabled: true
auditing:
enabled: true
devops:
enabled: true
jenkinsMemoryLim: 2Gi
jenkinsMemoryReq: 1500Mi
jenkinsVolumeSize: 8Gi
jenkinsJavaOpts_Xms: 512m
jenkinsJavaOpts_Xmx: 512m
jenkinsJavaOpts_MaxRAM: 2g
events:
enabled: true
ruler:
enabled: true
replicas: 2
logging:
enabled: true
logsidecarReplicas: 2
metrics_server:
enabled: true
monitoring:
prometheusMemoryRequest: 400Mi
prometheusVolumeSize: 20Gi
multicluster:
clusterRole: none # host | member | none
networkpolicy:
enabled: true
notification:
enabled: true
openpitrix:
enabled: true
servicemesh:
enabled: true
#注意： 由于 Kubernetes 暂不支持大写 NodeName， worker 节点名中包含大写字母将导致后续安装过程无法正常结束
#当指定安装KubeSphere时，要求集群中有可用的持久化存储。默认使用localVolume，如果需要使用其他持久化存储，请参阅 addons 配置。
#使用配置文件创建集群。
#./output/kk create cluster -f /root/kubekey-1.0.1/myfolder/config.yaml
#使用如下命令可查看部署日志
# kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l app=ks-install -o jsonpath='{.items[0].metadata.name}') -f
#当出现如下的日志时候就代表已经部署完成了。（保存图片中的登录的地址，用户名和密码，默认为Account: admin Password: P@88w0rd）
11.启用 kubectl 自动补全
KubeKey 不会启用 kubectl 自动补全功能。请参阅下面的指南并将其打开：
先决条件：确保已安装 bash-autocompletion 并可以正常工作。
# 安装 bash-completion
yum -y install bash-completion
# 将 completion 脚本添加到你的 ~/.bashrc 文件
echo 'source <(kubectl completion bash)' >>~/.bashrc
# 将 completion 脚本添加到 /etc/bash_completion.d 目录
kubectl completion bash >/etc/bash_completion.d/kubectl
**12.登录青云KubeSphere 容器平台 **
#浏览器打开： http://kubesphere.alauda.cn/ 使用 Account: admin Password: P@88w0rd 进行登录。
