上一页 1 2 3 4 5 6 7 ··· 19 下一页
摘要: 1、通过语言特性实现: 2、通过第三方库实现: pip install retry 参数介绍: 案例: 参考:https://pypi.python.org/pypi/retry https://stackoverflow.com/questions/2083987/how-to-retry-aft 阅读全文
posted @ 2017-10-27 12:25 bigbigtree 阅读(6853) 评论(1) 推荐(0) 编辑
摘要: 错误信息: This requested used more time than allowed and has been forcefully stopped. Max rendering time is 60.0s 问题: 由于内存资源、渲染时间等超过限制导致 解决方法: 修改Max rende 阅读全文
posted @ 2017-06-14 19:18 bigbigtree 阅读(1423) 评论(2) 推荐(0) 编辑
摘要: 业务背景 技术选型 Kafka Producer SparkStreaming 接收Kafka数据流 基于Receiver接收数据 直连方式读取kafka数据 Direct连接示例 使用Zookeeper维护KafkaOffset示例 SparkStreaming 数据处理 调优 合理的批处理时间( 阅读全文
posted @ 2017-05-26 13:01 bigbigtree 阅读(6435) 评论(0) 推荐(0) 编辑
摘要: 原因: kafka.eagle.offset.storage配置有误 该配置的作用:# kafka offset storage -- Offset stored in a Kafka cluster, if stored in the zookeeper, you can not use this 阅读全文
posted @ 2017-05-23 09:35 bigbigtree 阅读(2623) 评论(0) 推荐(0) 编辑
摘要: 情况描述 Hive建表时报错,元数据存储在mysql中。 报错信息 如下: 解决方法: 修改数据库编码,在mysql机器的上命令行中运行: alter database hive character set latin1; 阅读全文
posted @ 2017-05-17 11:06 bigbigtree 阅读(495) 评论(0) 推荐(0) 编辑
摘要: 问题: method:org.apache.hadoop.hdfs.DomainSocketFactory.<init>(DomainSocketFactory.java:69) The short-circuit local reads feature cannot be used because 阅读全文
posted @ 2017-05-11 11:57 bigbigtree 阅读(7445) 评论(0) 推荐(0) 编辑
摘要: reindex数据复制,重索引 字段重命名 把flag重命名为tag 案例 描述 在数据录入时,字段yxdm和字段jwzydm数据位置错位了,现在需要将数据调换回来 方法 先复制数据索引到bak 删除原索引数据,并从bak索引重新录入到原索引 注意需要使用yxdm1作为中间变量存储交换的字段 参考 阅读全文
posted @ 2017-05-09 11:06 bigbigtree 阅读(8454) 评论(0) 推荐(0) 编辑
摘要: 问题描述 通过oozie调度sqoop作业时,需要输入数据库作业密码,但在sqoop元数据服务配置密码后,过一段时间会失效。 解决方法 将数据库密码写入HDFS文件,通过配置Sqoop job,实现传入密码 示例 某数据库数据导入 SqoopJob的配置 密码文件配置:db.password.fil 阅读全文
posted @ 2017-04-28 10:21 bigbigtree 阅读(426) 评论(0) 推荐(0) 编辑
摘要: 错误用例 下面用例中,一个正在sleep的线程,在调用interrupt后,wait方法检查到isInterrupted()为true,抛出异常, 而catch到异常后没有处理。一个抛出了InterruptedException的线程的在调用interrupt后状态马上就会被置为非中断状态。如果ca 阅读全文
posted @ 2017-04-27 15:27 bigbigtree 阅读(488) 评论(0) 推荐(0) 编辑
摘要: 问题描述: 使用ES 2.3.1和Spark streaming 2.1时,出现以上报错信息。 原因: addOnCompleteCallback方法在spark2.0中移除了 The addOnCompleteCallback method was removed from the TaskCon 阅读全文
posted @ 2017-04-24 15:42 bigbigtree 阅读(306) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 19 下一页