摘要： spark由于一些链式的操作，spark 2.1目前只支持hive1.2.1 到http://mirror.bit.edu.cn/apache/hive/hive-1.2.1/ 网址下载hive1.2.1的部署包 2.配置系统环境变量/etc/profile 3. 解压 4.修改配置文件 可不做任何 阅读全文

摘要： spark sql是spark用来处理结构化数据的模块，它提供了一个编程抽象叫做dataframe，并且作为分布式sql查询引擎的作用 与rdd类似，dataframe是一个分布式数据容器，除了数据以外，还记录了数据的结构信息，schema。 dsl风格 sql风格 sql风格要先用register 阅读全文