Fork me on GitHub
摘要: 一、前述 Spark on Hive: Hive只作为储存角色,Spark负责sql解析优化,执行。 二、具体配置 1、在Spark客户端配置Hive On Spark 在Spark客户端安装包下spark-1.6.0/conf中创建文件hive-site.xml: 配置hive的metastore 阅读全文
posted @ 2018-02-08 15:52 L先生AI课堂 阅读(1457) 评论(0) 推荐(0) 编辑
摘要: 一、前述 1、SparkSQL介绍 Hive是Shark的前身,Shark是SparkSQL的前身,SparkSQL产生的根本原因是其完全脱离了Hive的限制。 SparkSQL支持查询原生的RDD。 RDD是Spark平台的核心概念,是Spark能够高效的处理大数据的各种场景的基础。 能够在Sca 阅读全文
posted @ 2018-02-08 15:12 L先生AI课堂 阅读(19775) 评论(1) 推荐(1) 编辑