Spark实时项目/技术栈/内容/问题

技术栈

SparkStreaming:核心处理流程
Maxwell:实时采集，全量同步
Kafka:数据存储，中间处理数据，数据传输
Redis:加快数据的查询响应
ElasticSearch:数据存储和查询计算
Kibana:可视化展示
SpringBoot:发布数据接口
Git:托管

项目内容

数据采集
数据分流
分层处理
可视化
数据接口开发

热点问题汇总

精确一次消费问题
kafka偏移量管理问题
Redis缓存问题
数据状态管理
数据处理顺序性
数据去重
数据关联
数据延迟
双流Join

posted @   jsqup  阅读(27)  评论(0)  编辑  收藏  举报
相关博文：
·  Kafka和Spark Streaming实时计算框架整合说明
·  SparkSQL概述
·  spark-cdh学习
·  开发笔记 -- 大数据技术栈 (2) - 实时&架构
·  Spark Streaming
阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 三行代码完成国际化适配，妙~啊~
· .NET Core 中如何实现缓存的预热？
点击右上角即可分享
微信分享提示
SQL AI 助手