2017年2月15日
spark on yarn模式下配置spark-sql访问hive元数据
摘要： spark on yarn模式下配置spark sql访问hive元数据 目的：在spark on yarn模式下，执行spark sql访问hive的元数据。并对比一下spark sql 和hive的效率。 软件环境： + hadoop2.7.3 + apache hive 2.1.1 bin + 阅读全文
posted @ 2017-02-15 19:04 丹江湖畔养蜂子赵大爹 阅读(7716) 评论(0) 推荐(0) 编辑
hive执行结果moveTask操作失败
摘要： hive执行结果moveTask操作失败 Apache Hive 2.1.0 ，在执行"INSERT OVERWRITE TABLE ...... select "或者 "insert overwrite directory /tmp/data/hive test "操作，如果生成的结果文件是多个时 阅读全文
posted @ 2017-02-15 15:03 丹江湖畔养蜂子赵大爹 阅读(12122) 评论(0) 推荐(0) 编辑
hadoop 2.7.3伪分布式安装
摘要： hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器，在测试，开发过程中还是很方便实用的，有必要将搭建伪分布式的过程记录下来，好记性不如烂笔头。 hadoop 2.7.3 JDK 1.8.91 到Apache的官网下载hadoop的二进制安装包。 cd /home 阅读全文
posted @ 2017-02-15 11:33 丹江湖畔养蜂子赵大爹 阅读(795) 评论(0) 推荐(0) 编辑