会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
扎心了老铁
博客园
首页
新随笔
联系
订阅
管理
2017年10月25日
使用spark与MySQL进行数据交互的方法
摘要: 在项目中,遇到一个场景是,需要从Hive数据仓库中拉取数据,进行过滤、裁剪或者聚合之后生成中间结果导入MySQL。 对于这样一个极其普通的离线计算场景,有多种技术选型可以实现。例如,sqoop,MR,HSQL。 我们这里使用的spark,优点来说是两个:一是灵活性高,二是代码简洁。 1)灵活性高 相
阅读全文
posted @ 2017-10-25 15:32 扎心了老铁
阅读(26064)
评论(3)
推荐(2)
编辑
公告