大数据项目架构

 

 具体流程（实时）：

  1. 　　应用程序集成SDK，通过API接口实现日志的上传
  2. 通过kafka将上传的日志文件收集，
  3. 使用合适的实时流处理组件对数据进行实时处理（storm，SparkStreaming，flink）
  4. 将处理的数据保存在数据库中(mongdb等)
  5. 接下来前端使用dubbo将所需的数据查询
  6. 使用easyUI、highcharts将数据可视化
posted @ 2020-12-12 10:04  shan_zhayidian  阅读(385)  评论(0)  编辑  收藏  举报