二进制安装kubernetes（一） 环境准备及etcd组件安装及etcd管理软件etcdkeeper安装
实验环境：
架构图：
主机环境：
操作系统：因docker对内核需要，本次部署操作系统全部采用centos7.6(需要内核3.8以上)
VM ：2C 2G 50G * 5 PS:因后面实验需要向k8s交付java服务，所以运算节点直接4c8g，如果不交付服务，全部2c2g即可。
IP及服务规划：
安装步骤：
所有机器上安装epel源：
#yum -y install epel-release
关闭防火墙以及selinux：
# systemctl stop firewalld
# systemctl disable firewalld
#setenforce 1
vi /etc/selinux/config
SELINUX=disabled
hdss7-11上安装bind9：
#yum -y install wget net-tools telnet tree nmap sysstat lrzsz dos2unix bind-utils -y
#yum install bind -y
配置bind：
#vi /etc/named.conf
修改以下配置项：
注意此服务对配置文件格式要求比较严格
listen-on port 53 { 127.0.0.1; }; ----> listen-on port 53 { 10.4.7.11; }; #将127.0.0.1修改为当前主机IP
allow-query { localhost; }; ----> allow-query { any; }; #为哪些服务器提供解析服务
dnssec-enable yes; ----> dnssec-enable no; # 是否支持DNSSEC开关 PS：dnssec作用：1.为DNS数据提供来源验证 2.为数据提供完整性性验证 3.为查询提供否定存在验证
dnssec-validation yes; ----> dnssec-validation no; #是否进行DNSSEC确认开关
添加以下配置项：
forwarders { 10.4.7.1; }; #用来指定上一层DNS地址，一般指定网关，确保服务能够访问公网
如果不适用IPV6，可以将以下配置删除：
listen-on-v6 port 53 { ::1; };
配置文件截图：（仅粘贴修改部分）
检查配置文件：
#named-checkconf
修改zons文件：
#vi /etc/named.rfc1912.zones
在文件最后，添加本次需要用到的两个dns域：
zone "host.com" IN { type master; file "host.com.zone"; allow-update { 10.4.7.11; }; }; zone "od.com" IN { type master; file "od.com.zone"; allow-update { 10.4.7.11; }; };
编辑刚刚添加的两个域的配置文件：将用到的DNS域解析A记录添加到配置文件
# vi /var/named/host.com.zone
$ORIGIN host.com. $TTL 600 ; 10 minutes @ IN SOA dns.host.com. dnsadmin.host.com. ( 2019111001 ; serial 10800 ; refresh (3 hours) 900 ; retry (15 minutes) 604800 ; expire (1 week) 86400 ; minimum (1 day) ) NS dns.host.com. $TTL 60 ; 1 minute dns A 10.4.7.11 HDSS7-11 A 10.4.7.11 HDSS7-12 A 10.4.7.12 HDSS7-21 A 10.4.7.21 HDSS7-22 A 10.4.7.22 HDSS7-200 A 10.4.7.200
#vi /var/named/od.com.zone
$ORIGIN od.com. $TTL 600 ; 10 minutes @ IN SOA dns.od.com. dnsadmin.od.com. ( 2019111001 ; serial 10800 ; refresh (3 hours) 900 ; retry (15 minutes) 604800 ; expire (1 week) 86400 ; minimum (1 day) ) NS dns.od.com. $TTL 60 ; 1 minute dns A 10.4.7.11
harbor A 10.4.7.200
修改主机dns：将nameserver 修改为bind9搭建的服务器地址（所有主机都要修改）
vim /etc/resolv.conf
search host.com nameserver 10.4.7.11
修改网卡配置：PS：如果网卡指定了DNS1配置
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DNS1=10.4.7.11
重启网卡(所有主机)，重启named服务(bind主机)
#systemctl restart network
# systemctl enable named #10.4.7.11上执行
# systemctl restart named #10.4.7.11上执行
验证是否可以访问公网，以及是否是走的我们自己搭建的dns服务：
#nslookup www.baidu.com
PS：如果虚拟机vm的宿主机在自己的windows或者mac上，将宿主机的dns指向10.4.7.11，方便一会使用浏览器验证内容
配置CA证书服务：
使用cfssl
在主机hdss7-200上操作：
# cd /usr/bin
# wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/bin/cfssl # wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/bin/cfssl-json # wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/bin/cfssl-certinfo
给执行权限：
# chmod +x /usr/bin/cfssl*
创建证书存放位置(可自己设置)：
# mkdir /opt/certs
# cd /opt/certs
创建证书申请文件：
# vi /opt/certs/ca-csr.json
文件内容：#这里注意"expiry": "175200h"，key，如果使用kubeadmin安装，默认证书有效期是1年，我们这里手动部署为20年，这里如果证书失效，会导致整个k8s集群瘫痪。
{ "CN": "OldboyEdu", "hosts": [ ], "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "ST": "beijing", "L": "beijing", "O": "od", "OU": "ops" } ], "ca": { "expiry": "175200h" } }
申请证书：
# cfssl gencert -initca ca-csr.json | cfssl-json -bare ca
申请成功：
PS:我们后面的所有证书，都是基于这套ca证书签发的。
接下来继续在hdss7-21,hdss7-22,hdss-7-200服务器上安装docker，配置私有仓库harbor(hdss7-200)：
# curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
编辑docker配置文件：
# mkdir /etc/docker
# mkdir /data/docker
# vi /etc/docker/daemon.json
{ "graph": "/data/docker", "storage-driver": "overlay2", "insecure-registries": ["registry.access.redhat.com","quay.io","harbor.od.com"], "registry-mirrors": ["https://q2gr04ke.mirror.aliyuncs.com"], "bip": "172.7.21.1/24", "exec-opts": ["native.cgroupdriver=systemd"], "live-restore": true }
启动docker并添加开机启动：
# systemctl start docker
# systemctl enable docker
在opt下创建安装包存放目录：hdss7-200上
# mkdir /opt/src
# cd /opt/src
下面开始安装harbor私有仓库：
下载地址:
我这里使用的是最新版本：1.9.2
# wget https://github.com/goharbor/harbor/releases/download/v1.9.2/harbor-offline-installer-v1.9.2.tgz
# tar -zxf harbor-offline-installer-v1.9.2.tgz -C /opt/
# cd /opt/
# mv harbor harbor-1.9.2
# ln -s /opt/harbor-1.9.2 /opt/harbor #方便版本管理
编辑harbor配置文件：
# vim /opt/harbor/harbor.yml
修改成如下：
hostname: harbor.od.com #这里添加的是我们开始在hdss7-11的自建dns上添加的域名解析
port: 180 #避免和nginx端口冲突
data_volume: /data/harbor
location: /data/harbor/logs
创建数据目录和日志目录：
# mkdir -p /data/harbor/logs
接下来安装docker-compose：
docker-compose介绍：
Docker Compose是 docker 提供的一个命令行工具，用来定义和运行由多个容器组成的应用。使用 compose，我们可以通过 YAML 文件声明式的定义应用程序的各个服务，并由单个命令完成应用的创建和启动。
简书链接：https://www.jianshu.com/p/ca1623ac7723#yum install docker-compose -y #根据网络情况不同，可能需要一些时间
执行harbor脚本：
# sh /opt/harbor/install.sh #根据网络情况不同，可能需要一些时间
进入到harbor目录执行以下命令：如果报以下错误，请检查目录
# cd /opt/harbor
# docker-compose ps
全是up表示正常：
安装nginx：
# yum install nginx -y #可是直接yum，也可以安装源码安装
编辑nginx配置文件：
# vi /etc/nginx/conf.d/harbor.od.com.conf
反代harbor：
server { listen 80; server_name harbor.od.com; client_max_body_size 1000m; location / { proxy_pass http://127.0.0.1:180; } }
启动nginx并设置开机启动：
# systemctl start nginx
# systemctl enable nginx
检查harbor端口及nginx端口：
试着访问harbor，使用宿主机浏览器打开harbor.od.com，如果访问不了，检查dns是否是10.4.7.11，也就是部署bind服务的服务器IP,也可以做host解析:
harbor.od.com
默认账号：admin
默认密码：Harbor12345
登录后创建一个新的仓库，一会测试用：
使用docker下载一个nginx，测试私有仓库：
# docker pull nginx:1.7.9
# docker login harbor.od.com
# docker tag 84581e99d807 harbor.od.com/public/nginx:v1.7.9
# docker push harbor.od.com/public/nginx:v1.7.9
然后去私有仓库上看下：
看到我们的镜像已经上传到私有仓库了
现在正式开始部署etcd组件：
首先申请证书，我们所有申请证书的操作，都在hdss7-200上操作
# cd /opt/certs
# vi /opt/certs/ca-config.json
{ "signing": { "default": { "expiry": "175200h" }, "profiles": { "server": { "expiry": "175200h", "usages": [ "signing", "key encipherment", "server auth" ] }, "client": { "expiry": "175200h", "usages": [ "signing", "key encipherment", "client auth" ] }, "peer": { "expiry": "175200h", "usages": [ "signing", "key encipherment", "server auth", "client auth" ] } } } }
# vi etcd-peer-csr.json
{ "CN": "k8s-etcd", "hosts": [ "10.4.7.11", "10.4.7.12", "10.4.7.21", "10.4.7.22" ], "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "ST": "beijing", "L": "beijing", "O": "od", "OU": "ops" } ] }
执行签发证书命令：
# cd /opt/certs
# cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=peer etcd-peer-csr.json |cfssl-json -bare etcd-peer
按照架构设计，在hdss7-12，hdss7-21, hdss7-22三台上部署etcd服务：
首先创建etcd用户：
# useradd -s /sbin/nologin -M etcd
创建应用包存放目录
# mkdir -p /opt/src
# cd /opt/src
下载etcd组件：
地址：https://github.com/etcd-io/etcd/tags
# wget https://github.com/etcd-io/etcd/releases/download/v3.2.28/etcd-v3.2.28-linux-amd64.tar.gz
# tar -zxf etcd-v3.2.28-linux-amd64.tar.gz -C ../
# ln -s /opt/etcd-v3.2.28-linux-amd64/ /opt/etcd
# mkdir -p /opt/etcd/certs /data/etcd /data/logs/etcd-server
编辑etcd启动脚本：
# vim /opt/etcd/etcd-server-startup.sh
标红处在另外两台服务器上需要修改成对应自己的ip地址：
#!/bin/sh ./etcd --name etcd-server-7-12 \ --data-dir /data/etcd/etcd-server \ --listen-peer-urls https://10.4.7.12:2380 \ --listen-client-urls https://10.4.7.12:2379,http://127.0.0.1:2379 \ --quota-backend-bytes 8000000000 \ --initial-advertise-peer-urls https://10.4.7.12:2380 \ --advertise-client-urls https://10.4.7.12:2379,http://127.0.0.1:2379 \ --initial-cluster etcd-server-7-12=https://10.4.7.12:2380,etcd-server-7-21=https://10.4.7.21:2380,etcd-server-7-22=https://10.4.7.22:2380 \ --ca-file ./certs/ca.pem \ --cert-file ./certs/etcd-peer.pem \ --key-file ./certs/etcd-peer-key.pem \ --client-cert-auth \ --trusted-ca-file ./certs/ca.pem \ --peer-ca-file ./certs/ca.pem \ --peer-cert-file ./certs/etcd-peer.pem \ --peer-key-file ./certs/etcd-peer-key.pem \ --peer-client-cert-auth \ --peer-trusted-ca-file ./certs/ca.pem \ --log-output stdout
添加执行权限：
# chmod +x /opt/etcd/etcd-server-startup.sh
创建证书存放目录：
# mkdir /opt/etcd/certs
# cd /opt/etcd/certs
拷贝证书：
# scp hdss7-200:/opt/certs/ca.pem ./ # scp hdss7-200:/opt/certs/etcd-peer.pem ./ # scp hdss7-200:/opt/certs/etcd-peer-key.pem ./
给目录授权：
# chown -R etcd.etcd /opt/etcd/certs /data/etcd /data/logs/etcd-server
安装supervisor管理服务：
# yum install supervisor -y
启动服务：
# systemctl start supervisord
# systemctl enable supervisord
编辑etcd启动脚本：红色部分根据主机修改
# vi /etc/supervisord.d/etcd-server.ini
[program:etcd-server-7-12] command=/opt/etcd/etcd-server-startup.sh ; the program (relative uses PATH, can take args) numprocs=1 ; number of processes copies to start (def 1) directory=/opt/etcd ; directory to cwd to before exec (def no cwd) autostart=true ; start at supervisord start (default: true) autorestart=true ; retstart at unexpected quit (default: true) startsecs=30 ; number of secs prog must stay running (def. 1) startretries=3 ; max # of serial start failures (default 3) exitcodes=0,2 ; 'expected' exit codes for process (default 0,2) stopsignal=QUIT ; signal used to kill process (default TERM) stopwaitsecs=10 ; max num secs to wait b4 SIGKILL (default 10) user=etcd ; setuid to this UNIX account to run the program redirect_stderr=true ; redirect proc stderr to stdout (default false) stdout_logfile=/data/logs/etcd-server/etcd.stdout.log ; stdout log path, NONE for none; default AUTO stdout_logfile_maxbytes=64MB ; max # logfile bytes b4 rotation (default 50MB) stdout_logfile_backups=4 ; # of stdout logfile backups (default 10) stdout_capture_maxbytes=1MB ; number of bytes in 'capturemode' (default 0) stdout_events_enabled=false ; emit events on stdout writes (default false)
killasgroup=true
stopasgroup=true
更新supervisord
# supervisorctl update
检查状态：
# supervisorctl status
检查etcd集群状态：
# cd /opt/etcd/
# ./etcdctl member list
etcd服务搭建完成后，里面其实存储了很多的key，如何查看和管理这些key，需要使用一个小工具，叫做etcdkeeper：
原文链接：https://www.cnblogs.com/gytangyao/p/11407205.html
下载etcd,在etcd节点选一台
# cd /opt/src
# wget https://github.com/evildecay/etcdkeeper/releases/download/v0.7.5/etcdkeeper-v0.7.5-linux_x86_64.zip
##解开压缩包，需安装unzip： yum install unzip -y
# unzip etcdkeeper-*-linux_x86_64.zip
# rm etcdkeeper-*-linux_x86_64.zip
# mv etcdkeeper ../etcdkeeper-0.7.5
# ln -s /opt/etcdkeeper-0.7.5/ /opt/etcdkeeper
# cd /opt/etcdkeeper
# chmod +x etcdkeeper
编写一个服务文件
该服务文件主要用于在后台运行etcd程序,用以提供http服务
# cd /lib/systemd/system
# vim etcdkeeper.service
[Unit] Description=etcdkeeper service After=network.target [Service] Type=simple ExecStart=/opt/etcdkeeper/etcdkeeper -h 10.4.7.12 -p 8800 ExecReload=/bin/kill -HUP $MAINPID KillMode=process Restart=on-failure PrivateTmp=true [Install] WantedBy=multi-user.target
-h 指定etcdkeeper http监听的地址,这里监听的是IPV4地址10.4.7.12
-p 指定etcdkeeper http监听的端口
服务的控制
# systemctl start etcdkeeper 启动etcdkeeper服务
# systemctl stop etcdkeeper 停止etcdkeeper服务
# systemctl enable etcdkeeper.service 设置开机自启动
# systemctl disable etcdkeeper.service 停止开机自启动
访问安全
如果启用了etcd自身的授权,无需特别关心
如果没有自动,可以考虑使用Nginx反代,使用base auth授权.
遗留的问题
当发布到公网环境时,v2可以查看到数据,v3查看不到数据。 目前没查到原因.
测试访问
http://10.4.7.12:8800
至此，etcd服务集群已经搭建完成了，接下来部署kube-apiserver服务，etcd属于服务端，kube-apiserver属于客户端，搭建kube-apiserver的过程将在下个章节。
