bigbigtree

摘要： 情况描述 Hive建表时报错，元数据存储在mysql中。 报错信息 如下： 解决方法： 修改数据库编码，在mysql机器的上命令行中运行: alter database hive character set latin1; 阅读全文

摘要： 问题： method:org.apache.hadoop.hdfs.DomainSocketFactory.<init>(DomainSocketFactory.java:69) The short-circuit local reads feature cannot be used because 阅读全文

摘要： reindex数据复制，重索引 字段重命名 把flag重命名为tag 案例 描述 在数据录入时，字段yxdm和字段jwzydm数据位置错位了，现在需要将数据调换回来 方法 先复制数据索引到bak 删除原索引数据，并从bak索引重新录入到原索引 注意需要使用yxdm1作为中间变量存储交换的字段 参考 阅读全文

摘要： 问题描述 通过oozie调度sqoop作业时，需要输入数据库作业密码，但在sqoop元数据服务配置密码后，过一段时间会失效。 解决方法 将数据库密码写入HDFS文件，通过配置Sqoop job，实现传入密码 示例 某数据库数据导入 SqoopJob的配置 密码文件配置：db.password.fil 阅读全文

摘要： 错误用例 下面用例中，一个正在sleep的线程，在调用interrupt后，wait方法检查到isInterrupted()为true，抛出异常， 而catch到异常后没有处理。一个抛出了InterruptedException的线程的在调用interrupt后状态马上就会被置为非中断状态。如果ca 阅读全文

摘要： 问题描述： 使用ES 2.3.1和Spark streaming 2.1时，出现以上报错信息。 原因： addOnCompleteCallback方法在spark2.0中移除了 The addOnCompleteCallback method was removed from the TaskCon 阅读全文

摘要： 背景介绍： 当ES中guava库与hive等组件的库冲突时，对Elasticsearch库进行shade，relocate解决库冲突问题。 当使用"org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"对资源进行重定向 阅读全文

摘要： 情况描述 解决方法 方法一：Shade and relocate 简介 Shade Elasticsearch 引入shade ES jar 方法二：修改集群Job配置策略（未实验） 情况描述 使用JDBC从Hive中抽取数据，所以maven项目中有hive依赖库； 数据导入Elasticsearc 阅读全文

摘要： 错误信息：java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecut‌​or()Ljava/util/concu‌​rrent/Executor 现象：创建ES客户端连接失败 解决 阅读全文

摘要： 数据函数简介添加汇总额外信息 数据 函数简介 CUBE（a, b, c）：和grouping sets((a,b,c),(a,b),(a,c),(a),(b,c),(b),(c),())是等效的 如下所示： 其中： black共计67, blue共计100 red共计64 所有共计231 添加汇总额 阅读全文