数据仓库技术结构-随便写写

 

 

数据采集：采用Flume收集日志，采用Sqoop将RDBMS以及NoSQL中的数据同步到HDFS上

消息系统：可以加入Kafka防止数据丢失

实时计算：实时计算使用Spark Streaming消费Kafka中收集的日志数据，实时计算结果大多保存在Redis中

机器学习：使用了Spark MLlib提供的机器学习算法

多维分析OLAP：使用Kylin作为OLAP引擎

数据可视化：提供可视化前端页面，方便运营等非开发人员直接查询