ELK日志收集（二）- ES集群内部加密
一：ES集群搭建
ES集群由多台ES单节点组合而成，当某一台ES故障时集群能够自动切换以保证集群正常工作。
修改单台集群的配置文件，形成集群。
1.cluster.name: XXXX # 集群名称，在同一集群的ES机器应保证集群名称相同
2.node.name: es-3 #单台ES机器的名字不能重复
3.discovery.zen.ping.unicast.hosts: ["172.16.1.73", "172.16.1.71"] #不必将集群中的每个ip地址写出来，只要相互关联即可
4.discovery.zen.minimum_master_nodes: 2 #选举原则，遵循过半原则 当某台机器故障时实现自我转移
二：集群内部加密
通过elasticsearch自带的elasticsearch-certutil的命令生成证书，然后各节点通过该证书可以进行安全通信。
【需要账号与密码访问ES集群，kibana页面】
1.证书级别了解
证书认证的不同级别：
Certificate: 节点加入集群需要使用想用CA签发的证书
Full Verfication: 节点加入集群需要使用想用CA签发的证书,还需要验证Hostname或IP地址
No Verfication: 任何节点都可以加入，开发环境用于诊断目的
企业中一般选择Certificate级别即可。
2.部署步骤
1) 环境准备
cd /usr/share/elasticsearch
使用yum方式安装的可执行文件路径
2)生成CA证书
bin/elasticsearch-certutil ca （CA证书：elastic-stack-ca.p12）
执行命令后会出现提示，第一个是指定证书位置，第二个是为证书设置密码。
注意：位置不用指定会有默认位置【在哪个位置执行生成命令证书就在该目录下】，不要设置密码，直接回车密码为空。设置密码后后面会很麻烦，很麻烦，很麻烦！！
3)生成节点证书
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 (节点证书：elastic-certificates.p12)
执行后也会出现相应提示，第一个是输入ca证书的密码，ca证书密码为空直接回车。第二个是指定从节点证书的存放位置，同样不输入会有默认存放位置。第三个是指定从节点证书的密码，一定还是直接回车，不要设置密码，不要设置密码！！
4)检查证书是否生成成功
此时证书的存放目录是/usr/share/elasticsearch，可以在该目录下查看是否有elastic-stack-ca.p12（ca证书）
和elastic-certificates.p12（从节点证书）。
5)移动证书位置并授权
注意：在本机生成的证书需要更改证书权限：`chmod 644 elastic-certificates.p12` (若是使用运行es程序的用户创建证书，则不用更改证书权限)
默认证书权限是600，运行elasticsearch程序的用户没有权限读取，会造成elasticsearch启动失败
mv /usr/share/elasticsearch/elastic-stack-ca.p12 /etc/elasticsearch
mv /usr/share/elasticsearch/elastic-certificates.p12 /etc/elasticsearch
chmod 644 /etc/elasticsearch/elastic-stack-ca.p12
chmod 644 /etc/elasticsearch/elastic-certificates.p12
chown root.elasticsearch /etc/elasticsearch/elastic-stack-ca.p12
chown root.elasticsearch /etc/elasticsearch/elastic-certificates.p12
6)编辑配置文件，增加xpack（5条）【主节点上操作】
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate # 证书认证>级别
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
最后两行注意是证书的位置，直接存放在/etc/elasticsearch目录下，配置文件中使用相对路径即可。
问：为啥证书密码建议都设置为空？
答：如果设置了证书密码就需要注意xpack，它读取不到密码就会造成ES重启不成功。配置xpack目前没找到资料怎么去配置，所以请直接把证书密码设置为空。
7)重启es服务
systemctl restart elasticsearch.service
重启后一定检查是否成功启动，如果没有成功请注意你是否设置了证书密码，没有设置的情况下检查证书文件的授权与位置是否正确。
8)推送证书到集群从节点
*将主节点产生的证书文件推送到其他两台机器的/etc/elasticsearch目录下，并编辑配置文件【仍是增加xpack那5条配置】
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate # 证书认证>级别
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
完成推送后重启ES服务，也请注意检查服务是否启动成功。
9)创建账号与密码
启动三个节点，待节点启动完毕之后，进入主节点elasticsearch目录，执行以下命令，进行账号，密码设置：
设置密码的两种方式：
/usr/share/elasticsearch/bin/elasticsearch-setup-passwords auto
系统随机创建密码 （建议使用随机创建，创建成功后保存好即可）
/usr/share/elasticsearch/bin/elasticsearch-setup-passwords interactive #自定义密码
考虑到会生成es，kibana，filebeat，logstash的账号与密码，我们选择系统随机生成即可。
创建：/usr/share/elasticsearch/bin/elasticsearch-setup-passwords auto
输出结果：
Initiating the setup of passwords for reserved users elastic,apm_system,kibana,logstash_system,beats_system,remote_monitoring_user.
You will be prompted to enter passwords as the process progresses.
Please confirm that you would like to continue [y/N]y # 输入y
中括号里是账号
Enter password for [elastic]:
Reenter password for [elastic]:
Enter password for [apm_system]:
Reenter password for [apm_system]:
Enter password for [kibana]:
Reenter password for [kibana]:
Enter password for [logstash_system]:
Reenter password for [logstash_system]:
Enter password for [beats_system]:
Reenter password for [beats_system]:
Enter password for [remote_monitoring_user]:
Reenter password for [remote_monitoring_user]:
Changed password for user [apm_system]
Changed password for user [kibana]
Changed password for user [logstash_system]
Changed password for user [beats_system]
Changed password for user [remote_monitoring_user]
Changed password for user [elastic]
注意：生成后记得保存好自己的账号与密码，后期登录要用它们才能登录页面。
账号密码支持新生成，如果需要生成新账号密码，执行生成命令即可。生成的新密码默认覆盖之前的。
9）访问测试
访问es页面，提示需要账号与密码
注意：使用了head插件可能导致401报错，因为此时es集群已有密码。
解决：在es的.yml这个配置文件中增加一条配置即可。
http.cors.allow-headers: Authorization,content-type
10）使用logstash或者filebeat收集日志
在收集的配置文件中增加es的用户名与密码即可
#举例：
output.elasticsearch:
hosts: ["http://192.168.80.104:9200"]
username: "elastic"
password => "elkstack123456" # 密码是上面步骤设置随机生成的
}
}
注意：配置账户和密码的时候有坑，账号对应的是username，之前百度出来有文档写的是user，一开始用的user，ES一直收集不到日志，排查发现是这里的坑！！改成username就可以了
11）#测试kibana访问页面
登陆kibana提示需要输入用户与密码 【安全机制：访问页面需要输入账号密码登录】
在kibana的配置文件中填写用户与密码 【kibana与ES集群相连接，需要账号与密码】
注意：不管是页面登录还是配置文件中都可以用kibana的账号，也能用ES的账号，【ES】账号属于超级用户账号。
配置文件kibana.yml中需要加入以下配置：【使用了es账号】
elasticsearch.username: "elastic"
elasticsearch.password: "elkstack123456"
#kibana页面登录不同账号的区别：
使用es：在Management下面的Kibana最后出现一个Security，有User和Role，方便kibana多用户创建及角色权限控制【先创建规则，在创建用户时绑定该规则即可】
使用kibana：不能进行角色创建与管理。
