WW大数据平台架构

1.大数据架构

说明:
1.该大数据平台采用的阿里云服务器,所以在集群部署和运维上会减少很多工作量
2.主题的计算引擎采用Spark,部分有Flink
3.数据挖掘主要是应用python的一些挖掘框架,模型比如词袋模型和一些常见的nlp算法
4.任务调度是自研的诸葛大数据调度平台

posted @ 2020-05-28 11:26  技术即艺术  阅读(1379)  评论(0编辑  收藏  举报