Spark实时项目/技术栈/内容/问题

技术栈

SparkStreaming:核心处理流程
Maxwell:实时采集，全量同步
Kafka:数据存储，中间处理数据，数据传输
Redis:加快数据的查询响应
ElasticSearch:数据存储和查询计算
Kibana:可视化展示
SpringBoot:发布数据接口
Git:托管

项目内容

数据采集
数据分流
分层处理
可视化
数据接口开发

热点问题汇总

精确一次消费问题
kafka偏移量管理问题
Redis缓存问题
数据状态管理
数据处理顺序性
数据去重
数据关联
数据延迟
双流Join