Spark实时项目/技术栈/内容/问题
技术栈
SparkStreaming:核心处理流程
Maxwell:实时采集,全量同步
Kafka:数据存储,中间处理数据,数据传输
Redis:加快数据的查询响应
ElasticSearch:数据存储和查询计算
Kibana:可视化展示
SpringBoot:发布数据接口
Git:托管
项目内容
数据采集
数据分流
分层处理
可视化
数据接口开发
热点问题汇总
精确一次消费问题
kafka偏移量管理问题
Redis缓存问题
数据状态管理
数据处理顺序性
数据去重
数据关联
数据延迟
双流Join
本文来自博客园,作者:jsqup,转载请注明原文链接:https://www.cnblogs.com/jsqup/p/16258632.html