Terry's blog

Focus on bigdata and cloud.

博客园 首页 新随笔 联系 订阅 管理

06 2018 档案

摘要:spark可以通过读取hive的元数据来兼容hive,读取hive的表数据,然后在spark引擎中进行sql统计分析,从而,通过spark sql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下: 1、启动hive的元数据服务 [root@master apache-hive-1.2.2- 阅读全文
posted @ 2018-06-27 10:15 王晓成 阅读(8266) 评论(0) 推荐(0) 编辑

摘要:说明:withColumn用于在原有DF新增一列 1. 初始化sqlContext val sqlContext = new org.apache.spark.sql.SQLContext(sc) 2.导入sqlContext隐式转换 import sqlContext.implicits._ 3. 阅读全文
posted @ 2018-06-25 19:17 王晓成 阅读(3052) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示