大数据的最终解决方案

1、目前最新版本7.6
https://dsideal.obs.cn-north-1.myhuaweicloud.com/HuangHai/elasticsearch/logstash-7.6.0.tar.gz
https://dsideal.obs.cn-north-1.myhuaweicloud.com/HuangHai/elasticsearch/elasticsearch-7.6.0-linux-x86_64.tar.gz

2、gin log --->logrus ----->kafka---->logstash--->elasticsearch

3、mariadb --->logstash---->kafka---->logstash--->elasticsearch

选型原则:master+slave的方式不太靠谱,还是logstash的更新时间戳方式靠谱,而且可以提供全量方案,简单粗暴。

4、合并掉consul,zookeeper,保留zookeeper.

5、两台主机使用同一个Mariadb,数仓主机不再保留Mariadb.

6、最终两台主机的部署软件
(1)web主机:gin,业务rpc,业务web,mariadb,logstash,redis
(2)数仓主机:zookeeper,kafka,elasticsearch,logstash,xxl-job

 

角色与权限的可用例子:

http://demo.go-admin.cn/admin

posted @ 2020-03-02 21:08  糖豆爸爸  阅读(216)  评论(0编辑  收藏  举报
Live2D