摘要: Spark SQL是支持在Spark中使用Sql、HiveSql、Scala中的关系型查询表达式。它的核心组件是一个新增的RDD类型SchemaRDD,它把行对象用一个Schema来描述行里面的所有列的数据类型,它就像是关系型数据库里面的一张表。它可以从原有的RDD创建,也可以是Parquet文件,... 阅读全文
posted @ 2015-03-05 14:43 ~风轻云淡~ 阅读(19290) 评论(7) 推荐(0) 编辑
摘要: 1. 作业提交方法以及参数我们先看一下用Spark Submit提交的方法吧,下面是从官方上面摘抄的内容。# Run application locally on 8 cores./bin/spark-submit \ --class org.apache.spark.examples.Spark... 阅读全文
posted @ 2015-03-05 07:59 ~风轻云淡~ 阅读(1586) 评论(0) 推荐(0) 编辑