大数据的最终解决方案
1、目前最新版本7.6
https://dsideal.obs.cn-north-1.myhuaweicloud.com/HuangHai/elasticsearch/logstash-7.6.0.tar.gz
https://dsideal.obs.cn-north-1.myhuaweicloud.com/HuangHai/elasticsearch/elasticsearch-7.6.0-linux-x86_64.tar.gz
2、gin log --->logrus ----->kafka---->logstash--->elasticsearch
3、mariadb --->logstash---->kafka---->logstash--->elasticsearch
选型原则:master+slave的方式不太靠谱,还是logstash的更新时间戳方式靠谱,而且可以提供全量方案,简单粗暴。
4、合并掉consul,zookeeper,保留zookeeper.
5、两台主机使用同一个Mariadb,数仓主机不再保留Mariadb.
6、最终两台主机的部署软件
(1)web主机:gin,业务rpc,业务web,mariadb,logstash,redis
(2)数仓主机:zookeeper,kafka,elasticsearch,logstash,xxl-job
角色与权限的可用例子: