摘要: 在本地IDE里直接运行spark程序操作远程集群 一般运行spark作业的方式有两种: 本机调试,通过设置master为local模式运行spark作业,这种方式一般用于调试,不用连接远程集群。 集群运行。一般本机调试通过后会将作业打成jar包通过spark-submit提交运行。生产环境一般使用这 阅读全文
posted @ 2017-11-07 11:13 信方 阅读(1162) 评论(0) 推荐(0) 编辑
摘要: Spark SQL的一个用途是执行SQL查询。Spark SQL也可以用来从现有的Hive安装中读取数据。有关如何配置此功能的更多信息,请参阅Hive表部分。从另一种编程语言中运行SQL时,结果将作为数据集/数据框返回。您还可以使用命令行 或通过JDBC / ODBC与SQL接口进行交互。 参考:h 阅读全文
posted @ 2017-11-07 11:02 信方 阅读(173) 评论(0) 推荐(0) 编辑
摘要: #运行实例 #./bin/run-example SparkPi 10 #./bin/spark-shell --master local[2] #./bin/pyspark --master local[2] #./bin/spark-submit examples/src/main/python 阅读全文
posted @ 2017-11-07 10:38 信方 阅读(1623) 评论(0) 推荐(0) 编辑
摘要: #查看帮助:./bin/spark-submit --help ./bin/spark-shell --help 用法1: spark-submit [options] <app jar | python file> [app arguments]用法2: spark-submit --kill [ 阅读全文
posted @ 2017-11-07 10:09 信方 阅读(460) 评论(0) 推荐(0) 编辑
摘要: ### Spark SQL Running the SET -v command will show the entire list of the SQL configuration. 阅读全文
posted @ 2017-11-07 09:30 信方 阅读(369) 评论(0) 推荐(0) 编辑