2017年2月15日
spark on yarn模式下配置spark-sql访问hive元数据
摘要： spark on yarn模式下配置spark sql访问hive元数据 目的：在spark on yarn模式下，执行spark sql访问hive的元数据。并对比一下spark sql 和hive的效率。 软件环境： + hadoop2.7.3 + apache hive 2.1.1 bin + 阅读全文
posted @ 2017-02-15 19:04 丹江湖畔养蜂子赵大爹 阅读(7716) 评论(0) 推荐(0) 编辑
hive执行结果moveTask操作失败
摘要： hive执行结果moveTask操作失败 Apache Hive 2.1.0 ，在执行"INSERT OVERWRITE TABLE ...... select "或者 "insert overwrite directory /tmp/data/hive test "操作，如果生成的结果文件是多个时 阅读全文
posted @ 2017-02-15 15:03 丹江湖畔养蜂子赵大爹 阅读(12122) 评论(0) 推荐(0) 编辑
hadoop 2.7.3伪分布式安装
摘要： hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器，在测试，开发过程中还是很方便实用的，有必要将搭建伪分布式的过程记录下来，好记性不如烂笔头。 hadoop 2.7.3 JDK 1.8.91 到Apache的官网下载hadoop的二进制安装包。 cd /home 阅读全文
posted @ 2017-02-15 11:33 丹江湖畔养蜂子赵大爹 阅读(795) 评论(0) 推荐(0) 编辑
2017年2月8日
spark on yarn任务提交缓慢解决
摘要： spark on yarn任务提交缓慢解决 spark版本：spark 2.0.0 hadoop 2.7.2。 在spark on yarn 模式执行任务提交，发现特别慢，要等待几分钟， 使用集群模式模式提交任务： ./bin/spark submit class org.apache.spark. 阅读全文
posted @ 2017-02-08 19:23 丹江湖畔养蜂子赵大爹 阅读(8084) 评论(0) 推荐(1) 编辑
2017年1月23日
Jenkins的多个任务并串联参数传递
摘要： Jenkins的多个任务并串联参数传递 Parameterized Trigger Plugin插件可以使多个job连接的时候可以传递一些job相关的参数信息。 1.Parameterized Trigger Plugin下载地址 https://wiki.jenkins ci.org/displa 阅读全文
posted @ 2017-01-23 15:35 丹江湖畔养蜂子赵大爹 阅读(7533) 评论(0) 推荐(0) 编辑
jenkins任务构建失败重试插件Naginator Plugin
摘要： jenkins任务失败重新构建插件Naginator Plugin jenkins任务经常会因为一些偶然因素失败，这时重新构建一次就肯能成功；jenkins的Naginator Plugin插件可以重新调度构建失败的任务；Retry Failed Builds Plugin也可以，但是已经过时不再更 阅读全文
posted @ 2017-01-23 12:56 丹江湖畔养蜂子赵大爹 阅读(4948) 评论(0) 推荐(0) 编辑
2017年1月17日
通过hive向写elasticsearch的写如数据
摘要： 通过hive向写elasticsearch的写如数据 hive 和 elasticsearch 的整合可以参考官方的文档： ES hadoop的hive整合 : https://www.elastic.co/guide/en/elasticsearch/hadoop/current/hive.htm 阅读全文
posted @ 2017-01-17 16:31 丹江湖畔养蜂子赵大爹 阅读(10172) 评论(0) 推荐(1) 编辑
2017年1月13日
Elasticsearch中的索引管理和搜索常用命令总结
摘要： 添加一个index，指定分片是3，副本是1 删除一个index： 查看es中的所有的索引（index） 查看iteblog在es中的结构 查看iteblog在es中的结构，地址加 ?pretty后缀，会格式化结果 搜索所有的索引文档 检索文档的一部分 检查index=iteblog type=ite 阅读全文
posted @ 2017-01-13 17:47 丹江湖畔养蜂子赵大爹 阅读(660) 评论(0) 推荐(0) 编辑
Elasticsearch安装
摘要： 1. 下载安装包 下载elasticsearch： https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch 5.1.1.tar.gz https://download.elastic.co/elasticsearch/re 阅读全文
posted @ 2017-01-13 17:44 丹江湖畔养蜂子赵大爹 阅读(7376) 评论(0) 推荐(1) 编辑
2016年12月27日
运行 Spark on YARN
摘要： 运行 Spark on YARN Spark 0.6.0 以上的版本添加了在yarn上执行spark application的功能支持，并在之后的版本中持续的 改进。关于本文的内容是翻译官网的内容，大家也可参考spark的官网地址：http://spark.apache.org/docs/lates 阅读全文
posted @ 2016-12-27 19:16 丹江湖畔养蜂子赵大爹 阅读(313) 评论(0) 推荐(0) 编辑