会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
何建新
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2017年12月19日
spark处理mongodb数据
摘要: mongodb是一种文档型数据库,作为一个适用于敏捷开发的数据库,mongodb的数据模式可以随着应用程序的发展而灵活地更新。但是mongodb适合一次查询的需求,对于统计、分析(尤其是在需要跨表、跨库的情况下)并不是太方便,我们可以用spark来处理mongodb数据。架构图如下: 我使用的spa
阅读全文
posted @ 2017-12-19 17:11 何建新
阅读(2940)
评论(0)
推荐(1)
编辑
sparksql加载mongodb指定字段,并对加载进来的json做解析
摘要: 如果是要读取mongo全表的数据的话,推荐使用mongo-spark,更简单方便 我个人的需求是要读取mongo的指定列,因为全表数据量太大, 并对加载进来的json数据进行解析,解析框架用的是alibaba封装的fastjson框架。 package spark_read;import java.
阅读全文
posted @ 2017-12-19 17:03 何建新
阅读(947)
评论(0)
推荐(0)
编辑
spark读取mongodb 并使用fastjson对读取json进行处理
摘要: package spark_read;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.VoidF
阅读全文
posted @ 2017-12-19 14:29 何建新
阅读(3404)
评论(0)
推荐(0)
编辑
JSON转换处理器fastjson
摘要: Fastjson介绍 Fastjson是一个Java语言编写的JSON处理器。 1、遵循http://json.org标准,为其官方网站收录的参考实现之一。 2、功能qiang打,支持JDK的各种类型,包括基本的JavaBean、Collection、Map、Date、Enum、泛型。 3、无依赖,
阅读全文
posted @ 2017-12-19 14:25 何建新
阅读(750)
评论(0)
推荐(0)
编辑