会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
leesf
掌控之中,才会成功;掌控之外,注定失败。
博客园
首页
新随笔
联系
管理
2020年4月18日
实战|使用Spark Structured Streaming写入Hudi
摘要: 1. 项目背景 传统数仓的组织架构是针对离线数据的OLAP(联机事务分析)需求设计的,常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高,按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的(准)实时
阅读全文
posted @ 2020-04-18 22:21 leesf
阅读(5131)
评论(0)
推荐(2)
编辑
公告