摘要: Spark SQL 1.3参考官方文档:Spark SQL and DataFrame Guide概览介绍参考:平易近人、兼容并蓄——Spark SQL 1.3.0概览 DataFrame提供了一条联结所有主流数据源并自动转化为可并行处理格式的渠道,通过它Spark能取悦大数据生态链上的所有玩家,... 阅读全文
posted @ 2015-05-08 22:09 晋心 阅读(2387) 评论(1) 推荐(0) 编辑
摘要: Spark SQL 1.2运行原理case class方式json文件方式背景:了解到HDP也能够支持Spark SQL,但官方文档是版本1.2,希望支持传统数据库、hadoop平台、文本格式的整合处理 虚线表示还未实现。支持从现有Apache Hive表以及流行的Parquet列式存储格式中读取... 阅读全文
posted @ 2015-05-08 21:02 晋心 阅读(1098) 评论(0) 推荐(0) 编辑