go etcd
etcd介绍
GitHub：https://github.com/coreos/etcd
下载：https://github.com/coreos/etcd/releases/
概念：高可用的分布式key-value存储，可以用于配置共享和服务发现。
具有以下优点：
- 简单 ： 相比于晦涩难懂的paxos算法，etcd基于相对简单且易实现的raft算法实现一致性，并通过gRPC提供接口调用
- 安全：支持TLS通信，并可以针对不同的用户进行对key的读写控制
- 高性能：10,000 /秒的写性能
类似项目：zookeeper和consul
开发语言：Go
接口：提供restful的http接口，使用简单
实现算法：基于raft算法的强一致性、高可用的服务存储目录
etcd的应用场景：
- 服务发现和服务注册
- 配置中心
- 分布式锁
- master选举
etcd单机部署
1、下载安装包etcd-v3.2.7-linux-amd64.tar.gz
tar -zxvf etcd-v3.2.7-linux-amd64.tar.gz cd etcd-v3.2.7-linux-amd64
2、服务启动
nohup etcd--data-dir /var/lib/data.etcd --listen-client-urls http://10.10.83.162:2379--advertise-client-urls http://10.10.83.162:2379 & > /var/log/etcd.log &
etcd集群部署
集群搭建有三种方式，分布是静态配置，etcd发现，dns发现
三种发现方式：Static，etcd Discovery，DNS Discovery。
● Static适用于有固定IP的主机节点
● etcd Discovery适用于DHCP环境
● DNS Discovery依赖DNS SRV记录
1、部署环境
操作系统：centos6.8
3台服务器：10.10.83.162、10.10.83.163、10.10.83.229
2、配置项说明
- --name
etcd集群中的节点名，这里可以随意，可区分且不重复就行
- --data-dir
指定节点的数据存储目录
- --wal-dir
指定节点的was文件的存储目录，若指定了该参数，wal文件会和其他数据文件分开存储。
- --listen-peer-urls
监听的用于节点之间通信的url，可监听多个，集群内部将通过这些url进行数据交互(如选举，数据同步等)
- --initial-advertise-peer-urls
建议用于节点之间通信的url，节点间将以该值进行通信。
- --listen-client-urls
监听的用于客户端通信的url,同样可以监听多个。
- --advertise-client-urls
建议使用的客户端通信url,该值用于etcd代理或etcd成员与etcd节点通信。
- --initial-cluster-token
节点的token值，设置该值后集群将生成唯一id,并为每个节点也生成唯一id,当使用相同配置文件再启动一个集群时，只要该token值不一样，etcd集群就不会相互影响。
- --initial-cluster
也就是集群中所有的initial-advertise-peer-urls 的合集
- --initial-cluster-state
新建集群的标志
静态配置
https://coreos.com/etcd/docs/latest/op-guide/clustering.html
静态配置主要预先将集群的配置信息分配好，然后将集群分布启动，集群将根据配置信息组成集群。这里按如下的配置信息分别启动三个etcd。
- 10.10.83.162
./etcd --name infra0 --initial-advertise-peer-urls http://10.10.83.162:2380 \ --listen-peer-urls http://10.10.83.162:2380 \ --listen-client-urls http://10.10.83.162:2379,http://127.0.0.1:2379 \ --advertise-client-urls http://10.10.83.162:2379 \ --initial-cluster-token etcd-cluster-1 \ --initial-cluster infra0=http://10.10.83.162:2380,infra1=http://10.10.83.163:2380,infra2=http://10.10.83.229:2380 \ --initial-cluster-state new
- 10.10.83.163
./etcd --name infra1 --initial-advertise-peer-urls http://10.10.83.163:2380 \ --listen-peer-urls http://10.10.83.163:2380 \ --listen-client-urls http://10.10.83.163:2379,http://127.0.0.1:2379 \ --advertise-client-urls http://10.10.83.163:2379 \ --initial-cluster-token etcd-cluster-1 \ --initial-cluster infra0=http://10.10.83.162:2380,infra1=http://10.10.83.163:2380,infra2=http://10.10.83.229:2380 \ --initial-cluster-state new
- 10.10.83.229
./etcd --name infra2 --initial-advertise-peer-urls http://10.10.83.229:2380 \ --listen-peer-urls http://10.10.83.229:2380 \ --listen-client-urls http://10.10.83.229:2379,http://127.0.0.1:2379 \ --advertise-client-urls http://10.10.83.229:2379 \ --initial-cluster-token etcd-cluster-1 \ --initial-cluster infra0=http://10.10.83.162:2380,infra1=http://10.10.83.163:2380,infra2=http://10.10.83.229:2380 \ --initial-cluster-state new
按如上配置分别启动集群，启动集群后，将会进入集群选举状态
- 查看集群成员
./etcdctl member list
- 查看集群健康状态
./etcdctl cluster-health
etcd发现
静态配置前提是在搭建集群之前已经提前知道各节点的信息，而实际应用中可能存在预先并不知道各节点ip的情况，这时可通过已经搭建的etcd来辅助搭建新的etcd集群，具体过程如下：
分为私有方式和公有方式
1、私有方式
首先需要在已经搭建的etcd集群。这种启动方式，依赖另外一个ETCD集群，在该集群中创建一个目录，并在该目录中创建一个_config的子目录，并且在该子目录中增加一个size节点，指定集群的节点数目。
curl -X PUT http://10.10.83.11:2379/v2/keys/discovery/6c007a14875d53d9bf0ef5a6fc0257c817f0fb83/_config/size -d value=3
返回
{"action":"set","node":{"key":"/discovery/6c007a14875d53d9bf0ef5a6fc0257c817f0fb83/_config/size","value":"3","modifiedIndex":16,"createdIndex":16}}
如上表示创建一个集群大小为3的etcd发现url，创建成功后按如下配置启动各节点
./etcd --name infra0 --initial-advertise-peer-urls http://10.10.83.162:2380 \ --listen-peer-urls http://10.10.83.162:2380 \ --listen-client-urls http://10.10.83.162:2379,http://127.0.0.1:2379 \ --advertise-client-urls http://10.10.83.162:2379 \ --discovery http://10.10.83.11:2379/v2/keys/discovery/6c007a14875d53d9bf0ef5a6fc0257c817f0fb83
./etcd --name infra1 --initial-advertise-peer-urls http://10.10.83.163:2380 \ --listen-peer-urls http://10.10.83.163:2380 \ --listen-client-urls http://10.10.83.163:2379,http://127.0.0.1:2379 \ --advertise-client-urls http://10.10.83.163:2379 \ --discovery http://10.10.83.11:2379/v2/keys/discovery/6c007a14875d53d9bf0ef5a6fc0257c817f0fb83
./etcd --name infra2 --initial-advertise-peer-urls http://10.10.83.229:2380 \ --listen-peer-urls http://10.10.83.229:2380 \ --listen-client-urls http://10.10.83.229:2379,http://127.0.0.1:2379 \ --advertise-client-urls http://10.10.83.229:2379 \ --discovery http://10.10.83.11:2379/v2/keys/discovery/6c007a14875d53d9bf0ef5a6fc0257c817f0fb83
如上当所有etcd均注册到用于发现的url后，独立的各节点将形成集群。
2、公有方式
如果没有搭建好的etcd集群用于注册和发现，可使用etcd公有服务来进行服务注册发现。
curl https://discovery.etcd.io/new?size=3
返回
https://discovery.etcd.io/580e3f6a132634250f2f790ac159f44e
将返回的url替换上面的 --discovery部分，启动各个节点etcd，建立集群。
dns发现
dns 发现主要通过dns服务来记录集群中各节点的域名信息，各节点到dns服务中获取相互的地址信息，从而建立集群。etcd各节点通过--discovery-serv配置来获取域名信息。
部署方式参考官方介绍
etcd集群运行过程中的改配
主要用于故障节点替换，集群扩容需求。
1、从集群中删除老member
./etcdctl member remove 169547ffdcc5110d
2、向集群中新增新member
./etcdctl member add infra2 http://10.10.83.163:2380
3、删除老节点data目录
4、在新member上启动etcd进程
nohup ./etcd --name infra1 --initial-advertise-peer-urls http://10.10.83.163:2380 --listen-peer-urls http://10.10.83.163:2380 --listen-client-urls http://10.10.83.163:2379,http://127.0.0.1:2379 --advertise-client-urls http://10.10.83.163:2379 --initial-cluster infra0=http://10.10.83.162:2380,infra1=http://10.10.83.163:2380,infra2=http://10.10.83.229:2380 --initial-cluster-state existing &
集群可服务性对故障的容忍度
以3节点集群为例。
结论：
- 在1个member故障时，即小部分节点故障： 集群处于健康态，读写都正常。
- 在2个member故障时，即大部分节点故障情况：集群整体状态为”不健康“，剩下的member也为”不健康“。只能read，但不能write，可能是因为剩下的member竞选leader失败，拿不到多数票。
- 在大部分节点恢复后，集群整体状态为”健康“，每个member也为”健康“
使用示例
package main
import (
"fmt"
etcd_client "github.com/coreos/etcd/clientv3"
"time"
)
func main() {
cli, err := etcd_client.New(clientv3.Config{
Endpoints: []string{"10.10.83.162:2379", "10.10.83.163:2379", "10.10.83.229:2379"},
DialTimeout: 5 * time.Second,
})
if err != nil {
fmt.Println("connect failed, err:", err)
return
}
fmt.Println("connect succ")
defer cli.Close()
}
