摘要:
spark由于一些链式的操作,spark 2.1目前只支持hive1.2.1 到http://mirror.bit.edu.cn/apache/hive/hive-1.2.1/ 网址下载hive1.2.1的部署包 2.配置系统环境变量/etc/profile 3. 解压 4.修改配置文件 可不做任何 阅读全文
摘要:
spark sql是spark用来处理结构化数据的模块,它提供了一个编程抽象叫做dataframe,并且作为分布式sql查询引擎的作用 与rdd类似,dataframe是一个分布式数据容器,除了数据以外,还记录了数据的结构信息,schema。 dsl风格 sql风格 sql风格要先用register 阅读全文