1 nacos服务准备工作

1.1 官网下载nacos（如2.0.3版本）

https://github.com/alibaba/nacos/releases/tag/2.0.3

1.2 解压nacos（如2.0.3版本）

tar -xvf nacos-server-2.0.3.tar.gz

1.3 配置nacos数据源（使用外部存储，如mysql）

cd /app/nacos/conf

vi application.properties

1.4 配置nacos集群节点

cp /app/nacos/conf/cluster.conf.example /app/nacos/conf/cluster.conf

vi cluster.conf

# 配置三个或以上nacos集群节点地址（IP:PORT）

#it is ip

#example

192.168.16.101:8848

192.168.16.102:8848

192.168.16.103:8848

2 配置nacos多节点

准备三个或以上nacos节点服务器，以及一台nacos代理服务器（nginx+haproxy）

nacos集群节点的服务配置一样，均按照1中的1.3和1.4配置，或者直接复制一个已经配置好的节点

3 管理nacos集群节点

官网推荐使用VIP/nginx代理nacos的控制台和grpc通信集群节点，如下图，由于nginx的短链接的限制，这里采用nginx代理nacos的控制台节点（http代理） 和 haproxy代理nacos的grpc通讯节点（tcp）

3.1 nginx代理nacos控制台节点

在nginx.conf中的http配置块中增加如下内容

#nacos控制台代理
upstream nacoscluster{
       #nacos2.0初始启动端口
       server *.*.*.*:8848 weight=1;
       server *.*.*.*:8848 weight=1;
       server *.*.*.*:8848 weight=1;
}
server {
     listen 8848;
     location / {
         root  /nacos/;
         proxy_pass http://nacoscluster;
     }
}

 

 

3.2 haproxy代理配置nacos grpc通信节点

3.2.1 下载解压haproxy

tar -zxvf /app/haproxy-2.4.7.tar.gz  #解压

 

3.2.2 进入haproxy-2.4.7命令

tar /app/haproxy-2.4.7

 

3.2.3 编译配置

cd /app/haproxy-2.4.7

make TARGET=custom ARCH=x86_64 PREFIX=/app/haproxy

 

3.2.4 安装

make install PREFIX=/app/haproxy

 

3.2.5 配置haproxy

cd /app/haproxy

vi haproxy.cfg

global                                                                              #全局参数的设置

    log         127.0.0.1 local0                                                    #log语法：log <address_1>[max_level_1] # 全局的日志配置，使用log关键字，指定使用127.0.0.1上的syslog服务中的local0日志设备，记录日志等级为info的日志

    nbproc      1                                                                   #监控进程个数

    maxconnrate 300                                                                 #进程每秒所能创建的最大连接数

    maxcomprate 300                                                                 #压缩速率

    maxsessrate 500                                                                 #进程每秒能创建的会话数量

    chroot      /app/haproxy                                                        #当前工作目录

    pidfile     /app/haproxy.pid                                                    #当前进程id文件

    maxconn     4000                                                                #进程所能接收的最大并发连接数

    user        haproxy                                                             #启动用户名

    group       haproxy                                                             #启动用户组

    daemon                                                                          #以守护进程方式运行haproxy

    stats       socket /app/haproxy/stats                                           #开启统计socket

defaults

    mode                    tcp                                                    #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK

    log                     global                                                  #应用全局的日志配置    

    option                  dontlognull                                             #启用该项，日志中将不会记录空连接。所谓空连接就是在上游的负载均衡器或者监控系统为了探测该  服务是否存活可用时，需要定期的连接或者获取某一固定的组件或页面，或者探测扫描端口是否在监 听或开放等动作被称为空连接；官方文档中标注，如果该服务上游没有其他的负载均衡器的话，建议 不要使用该参数，因为互联网上的恶意扫描或其他动作就不会被记录下来

    option                  redispatch                                              #当使用了cookie时，haproxy将会将其请求的后端服务器的serverID插入到cookie中，以保证 会话的SESSION持久性；而此时，如果后端的服务器宕掉了， 但是客户端的cookie是不会刷新 的，如果设置此参数，将会将客户的请求强制定向到另外一个后端server上，以保证服务的正常。

    option                  http-use-htx                                            #启用http2

    option                  logasap                                                 #传输大文件时提前记录日志

    option                  tcplog                                                 #启用日志记录HTTP请求，默认haproxy日志记录是不记录HTTP请求日志

    retries                 3                                                       #定义连接后端服务器的失败重连次数，连接失败次数超过此值后将会将对应后端服务器标记为不可用

    timeout queue           1m                                                      #一个请求在队列里的超时时间

    timeout connect         10s                                                     #连接超时

    timeout client          1m                                                      #客户端超时

    timeout server          1m                                                      #服务器端超时

    timeout http-keep-alive 100s                                                    #设置http-keep-alive的超时时间

    timeout check           10s                                                     #检测超时

    #option http-server-close                                                        #每次请求完毕后主动关闭http通道

    #option forwardfor       except 127.0.0.0/8                                      #如果服务器上的应用程序想记录发起请求的客户端的IP地址， 需要在HAProxy上 配置此选项，  这样  HAProxy会把客户端的IP信息发送给服务器，在HTTP请求中添加"X-Forwarded-For"字 段。  启用  X-Forwarded-For，在requests头部插入客户端IP发送给后端的server，使后端server获 取到客户端的真实IP。        

    #timeout http-request    10s                                                     #http请求超时时间    

    #maxconn                 3000                                                    #每个进程可用的最大连接数

listen admin_stats

    stats                   enable                                                  #启动管理后台

    bind                    0.0.0.0:12888                                           #监控端口设置    

    mode                  http                                                    #管理控制台模式

    log                     global                                                  #日志配置

    maxconn                 10                                                      #最大连接数

    stat uri                /admin                                                  #登录监控子路径配置

    stat realm              welcome\    Haproxy                                     #登录提示信息

    stat auth               haproxy:haproxy                                         #监控的账号密码

    stat admin              if TRUE                                                 #启用管理员模式

    stat refresh            30s                                                     #监控刷新时间

    stat                    hide-version                                            #隐藏页面版本号

    option                httplog                                                 #http日志记录    

frontend nacos_cluster                                                              #代理集群配置（名称自定义）

    bind                    :9848                                                   #代理端口

    mode                   tcp                                                    #代理模式

    log                     global                                                  #日志配置

    maxconn                 8000                                                    #最大连接数    

    default_backend         nacos_cluster_nodes                                     #代理节点名称。此处将对于的请求转发给后端

backend nacos_cluster_nodes                                                         #集群节点（名称自定义）， 需要与frontend的配置项default_backend值一致

    mode                    tcp                                                    #代理模式

    #balance                 roundrobin                                              #负载均衡算法

    server                  nacos1 *.*.*.*:9848  check                          #集群节点

    server                  nacos2 *.*.*.*:9848  check                          #集群节点

    server                  nacos3 *.*.*.*:9848  check                        #集群节点

 

3.2.6 添加用户haproxy和用户组haproxy

useradd haproxy

 

3.2.7 启动

cd /app/haproxy/sbin

./haproxy -f /app/haproxy/haproxy.cfg

 

3.2.8 验证haproxy启动

http://ip:12888/admin

haproxy haproxy

其中端口12888和用户名密码haproxy都是通过haproxy.cfg配置文件处理

 

 

4 常见问题

nginx代理问题

1 HTTP Status 400 – Bad Request

确认负载均衡配置变量是否包含了下划线，如nacos_cluster,此时应改成nacoscluster

2 UNAVAILABLE: HTTP status code 502

需要将haproxy.cfg中的http和httplog内容(listen admin_stats下的除外)替换成tcp和tcplog

 

 

nginx 增加tcp支持

nginx默认安装的时候没有加载stream模块

需要重新对源文件进行编译、安装，通过添加--with-stream(tcp) 和--with-http_v2_module（grpc）参数指定安装stream模块

./configure  --prefix=指定安装路径  --with-stream 

# ./configure --prefix=/app/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module  --with-http_flv_module  --with-http_mp4_module --with-http_gzip_static_module --with-stream_ssl_module --with-stream --with-http_v2_module

make & make install

 

再次检查nginx.conf配置文件，确认配置无语法错误后，再次尝试启动服务。

nginx -t 检查配置文件是否正确

nginx -c 指定启动的配置文件

 

 

 

nacos状态查看

 

查看nacos服务个数

ps -ef|grep nacos|grep -v grep |wc -l

//查看所有端口连接数 

netstat -nat |grep "TIME_WAIT" | wc -l

//查看某个端口的状态

netstat -anlp|grep 9848 |grep  TIME_WAIT |wc -l

netstat -anlp|grep 9848 |grep  ESTABLISHED |wc -l

//查看服务器上各个状态的统计数量：

netstat -ant | awk '/^tcp/ {++y[$NF]} END {for(w in y) print w, y[w]}'

// 单独查看TIME_WAIT

ss -nat | grep TIME-WAIT