04 2017 档案

oozie调度sqoop Job 数据库密码无法保存
摘要：问题描述 通过oozie调度sqoop作业时，需要输入数据库作业密码，但在sqoop元数据服务配置密码后，过一段时间会失效。 解决方法 将数据库密码写入HDFS文件，通过配置Sqoop job，实现传入密码 示例 某数据库数据导入 SqoopJob的配置 密码文件配置：db.password.fil 阅读全文
posted @ 2017-04-28 10:21 bigbigtree 阅读(426) 评论(0) 推荐(0) 编辑
Java——安全地停止线程
摘要：错误用例 下面用例中，一个正在sleep的线程，在调用interrupt后，wait方法检查到isInterrupted()为true，抛出异常， 而catch到异常后没有处理。一个抛出了InterruptedException的线程的在调用interrupt后状态马上就会被置为非中断状态。如果ca 阅读全文
posted @ 2017-04-27 15:27 bigbigtree 阅读(492) 评论(0) 推荐(0) 编辑
NoSuchMethodError: ... addOnCompleteCallback
摘要：问题描述： 使用ES 2.3.1和Spark streaming 2.1时，出现以上报错信息。 原因： addOnCompleteCallback方法在spark2.0中移除了 The addOnCompleteCallback method was removed from the TaskCon 阅读全文
posted @ 2017-04-24 15:42 bigbigtree 阅读(306) 评论(0) 推荐(0) 编辑
An SPI class of type org.apache.lucene.codecs.PostingsFormat with name 'Lucene50' does not exist. You need to add the corresponding JAR file supporting this SPI to your classpath. The current classp
摘要：背景介绍： 当ES中guava库与hive等组件的库冲突时，对Elasticsearch库进行shade，relocate解决库冲突问题。 当使用"org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"对资源进行重定向 阅读全文
posted @ 2017-04-19 19:46 bigbigtree 阅读(2689) 评论(1) 推荐(0) 编辑
解决Hive与Elasticsearch共有库 guava 冲突 NoSuchMethodError
摘要：情况描述 解决方法 方法一：Shade and relocate 简介 Shade Elasticsearch 引入shade ES jar 方法二：修改集群Job配置策略（未实验） 情况描述 使用JDBC从Hive中抽取数据，所以maven项目中有hive依赖库； 数据导入Elasticsearc 阅读全文
posted @ 2017-04-05 14:23 bigbigtree 阅读(6982) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示