2017年10月25日
使用spark与MySQL进行数据交互的方法
摘要： 在项目中，遇到一个场景是，需要从Hive数据仓库中拉取数据，进行过滤、裁剪或者聚合之后生成中间结果导入MySQL。 对于这样一个极其普通的离线计算场景，有多种技术选型可以实现。例如，sqoop，MR，HSQL。 我们这里使用的spark，优点来说是两个：一是灵活性高，二是代码简洁。 1）灵活性高 相 阅读全文
posted @ 2017-10-25 15:32 扎心了老铁 阅读(26064) 评论(3) 推荐(2) 编辑