etcd集群安装部署
1. 集群架构
由于我们只有两个机房，所以选择的是以上图中所示的数据同步方案， 通过做镜像的方式保证两个集群的数据实时同步。
整体架构如上图所示， 整个全局元数据中心包括两套集群，廊坊集群和马驹桥集群； 同时服务的只会有一个集群， 两个集群通过mirror-maker实时同步元数据，保证元数据无差别。
正常访问流程如下：
用户=》 OPS域名 =》 域名解析到廊坊 =》 通过负载均衡路由廊坊机房的4001端口 =》 访问数据返回
以上描述了一次正常的请求； 整体架构比较简单，主要是因为ETCD集群无法部署在三个机房（没有资源）；所以选择了通过但机房部署，多机房数据同步的方案进行实时数据备份；
2. 灾备方案
(1). 通过mirror-maker实时做镜像的方式同步数据，如果出现主机房服务挂了可以通过切换域名的形式切换到灾备机房；这个过程中数据是可以保持一致的。
(2). etcd集群的数据每隔半个小时会备份一次数据， 备份的数据会直接上传到云存储上，一旦系统出现问题可以随时通过备份数据进行故障恢复；保证业务的可用性
3. 安装流程
a. 通过官网说明下载最新的ETCD程序
https://github.com/coreos/etcd/releases
可以参考以下脚本，下载并且解压
#!/bin/bash ETCD_VER=v3.3.5 GITHUB_URL=https://github.com/coreos/etcd/releases/download DOWNLOAD_URL=${GITHUB_URL} rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz rm -rf /tmp/etcd-download-test && mkdir -p /tmp/etcd-download-test curl -L ${DOWNLOAD_URL}/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz -o /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz tar xzvf /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz -C /tmp/etcd-download-test --strip-components=1
b. 校验版本
通过执行以下命令教研ETCD版本是否和是我们下载的版本
#校验etcd版本 $/tmp/etcd-download-test/etcd --version etcd Version: 3.3.5 Git SHA: cb2a496 Go Version: go1.8.3 Go OS/Arch: linux/amd64 #校验etcdctl版本 $ETCDCTL_API=3 /tmp/etcd-download-test/etcdctl version etcdctl version: 3.3.5 API version: 3.2
c. ETCD启动
通过以上步骤校验完版本之后就可以开始整理命令行参数启动etcd了；
这里我们直接使用ETCD配置文件配置相应的集群信息,ETCD配置文件如下：
vim /etc/etcd/etcd.conf
192.168.186.95 配置
ETCD_NAME=etcd95 ETCD_DATA_DIR="/export/Data/etcd/etcd95" ETCD_STRICT_RECONFIG_CHECK=true ETCD_ADVERTISE_CLIENT_URLS="http://192.168.186.95:4001" ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.186.95:7001" ETCD_LISTEN_CLIENT_URLS="http://192.168.186.95:4001" ETCD_LISTEN_PEER_URLS="http://192.168.186.95:7001" ETCD_INITIAL_CLUSTER_STATE="new" ETCD_INITIAL_CLUSTER_TOKEN="etcd-global-cluster" ETCD_INITIAL_CLUSTER="etcd95=http://192.168.186.95:7001,etcd53=http://192.168.186.53:7001,etcd73=http://192.168.186.73:7001"
192.168.186.53 配置
ETCD_NAME=etcd53 ETCD_DATA_DIR="/export/Data/etcd/etcd53" ETCD_STRICT_RECONFIG_CHECK=true ETCD_ADVERTISE_CLIENT_URLS="http://192.168.186.53:4001" ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.186.53:7001" ETCD_LISTEN_CLIENT_URLS="http://192.168.186.53:4001" ETCD_LISTEN_PEER_URLS="http://192.168.186.53:7001" ETCD_INITIAL_CLUSTER_STATE="new" ETCD_INITIAL_CLUSTER_TOKEN="etcd-global-cluster" ETCD_INITIAL_CLUSTER="etcd95=http://192.168.186.95:7001,etcd53=http://192.168.186.53:7001,etcd73=http://192.168.186.73:7001"
192.168.186.73 配置
ETCD_NAME=etcd73 ETCD_DATA_DIR="/export/Data/etcd/etcd73" ETCD_STRICT_RECONFIG_CHECK=true ETCD_ADVERTISE_CLIENT_URLS="http://192.168.186.73:4001" ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.186.73:7001" ETCD_LISTEN_CLIENT_URLS="http://192.168.186.73:4001" ETCD_LISTEN_PEER_URLS="http://192.168.186.73:7001" ETCD_INITIAL_CLUSTER_STATE="new" ETCD_INITIAL_CLUSTER_TOKEN="etcd-global-cluster" ETCD_INITIAL_CLUSTER="etcd95=http://192.168.186.95:7001,etcd53=http://192.168.186.53:7001,etcd73=http://192.168.186.73:7001"
d. 设置守护进程
配置每台机器的环境变量配置文件之后，需要设置守护进程；
vim /usr/lib/systemd/system/etcd.service
[Unit] Description=etcd key-value store Documentation=https://github.com/coreos/etcd After=network.target [Service] User=etcd Type=notify #这个文件特别关键，etcd使用的环境变量都需要通过环境变量文件读取 EnvironmentFile=/etc/etcd/etcd.conf ExecStart=/usr/bin/etcd --auto-compaction-retention '1' --max-request-bytes '33554432' --quota-backend-bytes '8589934592' Restart=always RestartSec=10s LimitNOFILE=40000 [Install] WantedBy=multi-user.target
e. 注意事项
一定需要确认数据目录对用户etcd有读写权限，否则服务可能无法正确启动
f. 启动
#启动前先创建软连接 ln -s /export/App/etcd-v3.2.2/etcd /usr/bin/etcd #执行以下命令启动etcd systemctl daemon-reload systemctl start etcd systemctl enable etcd
g.状态校验
#启动完成之后需要进行状态校验 ./etcdctl --endpoints="http://192.168.186.95:4001,http://192.168.186.53:4001,http://192.168.186.73:4001" member list ./etcdctl --endpoints="http://192.168.186.95:4001,http://192.168.186.53:4001,http://192.168.186.73:4001" cluster-health 返回信息如下： 4b68b919da5a093d: name=etcd95 peerURLs=http://192.168.186.95:7001 clientURLs=http://192.168.186.95:4001 isLeader=true 93fed96717b4821c: name=etcd53 peerURLs=http://192.168.186.53:7001 clientURLs=http://192.168.186.53:4001 isLeader=false ed0bc855ed0b5faf: name=etcd73 peerURLs=http://192.168.186.73:7001 clientURLs=http://192.168.186.73:4001 isLeader=false member 4b68b919da5a093d is healthy: got healthy result from http://192.168.186.95:4001 member 93fed96717b4821c is healthy: got healthy result from http://192.168.186.53:4001 member ed0bc855ed0b5faf is healthy: got healthy result from http://192.168.186.73:4001
