09 2020 档案

摘要:实时数仓主要解决传统数仓数据时效性低的问题,实时数仓通常会用在实时的OLAP分析,实时大屏展示,实时监控报警各个场景。虽然关于实时数仓架构及技术选型与传统的离线数仓会存在差异,但是关于数仓建设的基本方法论是一致的。接下来主要介绍Flink SQL从0到1搭建一个实时数仓的demo,涉及到数据采集、存 阅读全文
posted @ 2020-09-29 17:07 鼬手牵佐手 阅读(2779) 评论(2) 推荐(0)
摘要:spark在standalone模式和yarn模式下分别有两种提交任务的方式,分别是基于client的提交方式和基于cluster的提交方式。 1.standalone-client提交任务方式 提交命令 ./spark-submit --master spark://node1:7077 --cl 阅读全文
posted @ 2020-09-16 19:30 鼬手牵佐手 阅读(675) 评论(0) 推荐(0)