2017年12月19日

摘要： mongodb是一种文档型数据库，作为一个适用于敏捷开发的数据库，mongodb的数据模式可以随着应用程序的发展而灵活地更新。但是mongodb适合一次查询的需求，对于统计、分析（尤其是在需要跨表、跨库的情况下）并不是太方便，我们可以用spark来处理mongodb数据。架构图如下： 我使用的spa 阅读全文

摘要： 如果是要读取mongo全表的数据的话，推荐使用mongo-spark,更简单方便 我个人的需求是要读取mongo的指定列，因为全表数据量太大， 并对加载进来的json数据进行解析，解析框架用的是alibaba封装的fastjson框架。 package spark_read;import java. 阅读全文

摘要： package spark_read;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.VoidF 阅读全文

摘要： Fastjson介绍 Fastjson是一个Java语言编写的JSON处理器。 1、遵循http://json.org标准，为其官方网站收录的参考实现之一。 2、功能qiang打，支持JDK的各种类型，包括基本的JavaBean、Collection、Map、Date、Enum、泛型。 3、无依赖， 阅读全文