摘要: 转载自:https://blog.csdn.net/weixin_41615494/article/details/7952173 一、基于Receiver的方式 原理 Receiver从Kafka中获取的数据存储在Spark Executor的内存中,然后Spark Streaming启动的job 阅读全文
posted @ 2019-04-28 23:03 akia开凯 阅读(601) 评论(0) 推荐(0) 编辑
摘要: 1. ETL和ODS ETL 是 Extract、Transform 和 Load 的缩写,即抽取、转换和加载。ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础; ODS(Oper 阅读全文
posted @ 2019-04-28 20:47 akia开凯 阅读(407) 评论(0) 推荐(0) 编辑
摘要: 写这篇博文是因为这个东西坑太多,首先说明下边实现的多数据源不是动态切换的,应该算是静态的。另外,如果对Spring JPA不熟悉的话,可以参见:SpringBoot 中 JPA 的使用 坑一、pom文件 pom中spring boot以及mysql connector的版本一定要注意。 1 <par 阅读全文
posted @ 2019-04-28 13:45 akia开凯 阅读(831) 评论(0) 推荐(0) 编辑