摘要:
1、通过语言特性实现: 2、通过第三方库实现: pip install retry 参数介绍: 案例: 参考:https://pypi.python.org/pypi/retry https://stackoverflow.com/questions/2083987/how-to-retry-aft 阅读全文
摘要:
错误信息: This requested used more time than allowed and has been forcefully stopped. Max rendering time is 60.0s 问题: 由于内存资源、渲染时间等超过限制导致 解决方法: 修改Max rende 阅读全文
摘要:
业务背景 技术选型 Kafka Producer SparkStreaming 接收Kafka数据流 基于Receiver接收数据 直连方式读取kafka数据 Direct连接示例 使用Zookeeper维护KafkaOffset示例 SparkStreaming 数据处理 调优 合理的批处理时间( 阅读全文
摘要:
原因: kafka.eagle.offset.storage配置有误 该配置的作用:# kafka offset storage -- Offset stored in a Kafka cluster, if stored in the zookeeper, you can not use this 阅读全文
摘要:
情况描述 Hive建表时报错,元数据存储在mysql中。 报错信息 如下: 解决方法: 修改数据库编码,在mysql机器的上命令行中运行: alter database hive character set latin1; 阅读全文
摘要:
问题: method:org.apache.hadoop.hdfs.DomainSocketFactory.<init>(DomainSocketFactory.java:69) The short-circuit local reads feature cannot be used because 阅读全文
摘要:
reindex数据复制,重索引 字段重命名 把flag重命名为tag 案例 描述 在数据录入时,字段yxdm和字段jwzydm数据位置错位了,现在需要将数据调换回来 方法 先复制数据索引到bak 删除原索引数据,并从bak索引重新录入到原索引 注意需要使用yxdm1作为中间变量存储交换的字段 参考 阅读全文
摘要:
问题描述 通过oozie调度sqoop作业时,需要输入数据库作业密码,但在sqoop元数据服务配置密码后,过一段时间会失效。 解决方法 将数据库密码写入HDFS文件,通过配置Sqoop job,实现传入密码 示例 某数据库数据导入 SqoopJob的配置 密码文件配置:db.password.fil 阅读全文
摘要:
错误用例 下面用例中,一个正在sleep的线程,在调用interrupt后,wait方法检查到isInterrupted()为true,抛出异常, 而catch到异常后没有处理。一个抛出了InterruptedException的线程的在调用interrupt后状态马上就会被置为非中断状态。如果ca 阅读全文
摘要:
问题描述: 使用ES 2.3.1和Spark streaming 2.1时,出现以上报错信息。 原因: addOnCompleteCallback方法在spark2.0中移除了 The addOnCompleteCallback method was removed from the TaskCon 阅读全文