集群环境下Consul集成Envoy实践
边缘集群环境下Consul集成Envoy实践
前言
Consul Service Mesh通过授权和加密来保护服务之间的通信，还可以拦截有关服务到服务通信的数据并将其呈现给监视工具。我们可以使用Consul随附的内置代理测试Consul Service Mesh，对于生产部署并启用L7功能，应使用Envoy。我们可以基于官方容器镜像创建Envoy，也可以从第三方项目getenvoy.io(进入官网获取安装命令)获取一Envoy二进制包构建。
Consul需要能够在中找到envoy二进制文件$PATH以自动启动它，而无需指定二进制文件的位置。
Consul根据service definition自动定义Envoy并启动Envoy。
边缘节点安装Envoy
$ curl -L https://getenvoy.io/cli | sudo bash -s -- -b /usr/local/bin #如果出现证书问题可以自己去github上下载getenvoy
##注意：首先要去查看当前Consul支持的Envoy列表！！！
$ getenvoy run standard:1.16.0 -- --version
$ sudo cp ~/.getenvoy/builds/standard/1.16.0/linux_glibc/bin/envoy /usr/local/bin/ #
$ envoy --version #检查envoy是否正常启动
边缘节点安装Consul
###CentOS###
# 使用 yum-config-manager 管理仓库
sudo yum install -y yum-utils
# 连接仓库
sudo yum-config-manager --add-repo https://rpm.releases.hashicorp.com/RHEL/hashicorp.repo
# 安装
sudo yum -y install consul
###Ubuntu###
# 添加 GPG key
curl -fsSL https://apt.releases.hashicorp.com/gpg | sudo apt-key add -
# 添加 仓库
# 如果执行后提示 apt-add-repository: command not found
# 可先安装： apt-get install software-properties-common
sudo apt-add-repository "deb [arch=amd64] https://apt.releases.hashicorp.com $(lsb_release -cs) main"
# 更新源以及安装 consul
sudo apt-get update && sudo apt-get install consul
注意：consul和envoy最好都要用最新版本，之前envoy1.11.1会出错！！！出错原因排查不出。建议在Envoy 1.15.0+上运行Consul 1.9.0
环境介绍
三台边缘节点，节点一部署consul server，节点二部署socat及其sidecar，机器三部署web及其sidecar。
注意：consul aget启动时候需要指定-grpc-port=8502, -https-port=8501！！！！，后续connect需要用到！！！！。
机器一部署consul，编写配置文件
consul有个特点，启动时候可以指定配置文件，只要配置文件写明A服务要注册，即使A服务不存在。
在consul目录下创建consul.d目录作为配置目录，里面建两个json文件，作为socat和web注册配置文件。
{
"service": {
"name": "socat",
"port": 8181,
"address":"192.168.1.206",
"connect": {
"sidecar_service": {
"proxy": {
"destination_service_name": "socat",
"destination_service_id": "socat",
"local_service_address": "192.168.1.206",
"local_service_port": 8181
}
}
}
}
}
里面配置服务名是socat，所在address（官网没写，默认服务在consul本机上）、端口以及边车信息，边车代理了socat服务、边车代理服务的IP、端口。
{
"service": {
"name": "web",
"port": 80,
"address":"192.168.1.204",
"connect": {
"sidecar_service": {
"proxy": {
"destination_service_name": "web",
"destination_service_id": "web",
"local_service_address": "192.168.1.204",
"local_service_port": 80,
"upstreams": [
{
"destination_name": "socat",
"local_bind_port": 9191
}
]
}
}
}
}
}
web.json的内容与socat大致相同，upstreams指定了边车将会监听9191端口，发送到192.168.1.204机器上的9191端口就会被边车转发到socat服务，因为边车启动后，和consul相连，可以获取到socat的服务地址。
如果consul没有启动，通过-config-dir=./consul.d指定配置目录；如果consul正在运行，通过consul services register添加服务。
机器二部署socat和side
socat类似于echo命令程序，会将输入的字符串返回。
$ socat -v tcp-l:8181,fork exec:"/bin/cat" & #在后台运行socat服务
$ consul connect envoy -sidecar-for socat -admin-bind localhost:19000
#-http-addr参数指定consul服务端地址，如果没有，默认本地（前提是本地运行有服务器模式下的consul）。端口为服务端http端口，默认8500，如果修改，使用你修改的端口。经测试client也不需要加
# 使用内置代理的话直接 consul connect proxy -sidecar-for socat
#启动代理进程需要在另一个窗口执行，或者以后台形式运行，为了测试，我们在另一个窗口执行，以便于观察日志信息。
#-admin-bind是envoy服务的地址，连接上游通信的数据端口是在配置文件中local_bind_port字段指定的
###如果没有安装netcat的话
$ wget https://sourceforge.net/projects/netcat/files/netcat/0.7.1/netcat-0.7.1.tar.gz/download
$ tar -zxvf download
$ mv netcat-0.7.1/ /usr/local/
$ cd /usr/local/netcat-0.7.1/
$ ./configure
$ make && make install #如果./configure报错：configure: error: no acceptable C compiler found in $PATH，就下载yum install gcc -y来解决，完事重新执行命令即可
$ export NETCAT_HOME=/usr/local/netcat-0.7.1
$ export PATH=$PATH:$NETCAT_HOME/bin
$ nc -help #测试
$ nc 127.0.0.1 8181 #测试socat服务,注意没有冒号！！
机器三部署web和sidecar
官网案例中，web服务并不存在，只注册了web服务信息。这并不影响，只要启动了web边车，就可以通过web边车监听的端口与socat通信，当然web边车控制台会报错，因为连不上web服务，这并不影响案例进行。
$ consul connect envoy -sidecar-for web #启动后报错，找不到本机80端口的web服务，不影响案例
$ nc 127.0.0.1 9191 #边车监听的端口，转发到socat服务
#在开始代理过程之前，请确认您无法在端口9191上连接到socat服务。以下命令应立即退出，因为在端口9191上没有侦听任何内容（socat在8181上侦听）
总结
- 服务注册、边车代理的配置信息都在consul server端，服务和边车几乎没有配置信息。
- 服务调用还是要通过边车所监听的端口，如果web是个真实的服务，那web编码应该在程序中硬编码端口，或者写配置文件，使用http通信或者其他通信方式，也挺麻烦，毕竟现在服务网格落地的方案少，没有太多借鉴的案例。
- 如果使用docker的话，consul命令要进入docker内部执行。
错误及问题汇总
- Local_bind_port是对内置proxy有效。如果使用envoy集成的话，代理端口要通过-admin-bind指定。
- consul agent -dev是开发模式，单节点下使用，如果是集群不能带有这个选项。
- agent启动时候-grpc-port=8502 -https-port=8501要启动。
- check=service:socat-sidecar-proxy:1 error="dial tcp 127.0.0.1:21000: connect: connection refused"，导致connect代理时候出错。consul 启动时候要加-hcl="connect {enabled=true}"
