RICH-ATONE

2021年4月14日 #

Caused by: java.io.IOException: Cannot obtain block length for LocatedBlock

摘要： 集群入库hive报错： Caused by: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-433041383-192.168.10.249-1494331993586:blk_1116615973_42940 阅读全文

posted @ 2021-04-14 14:59 RICH-ATONE 阅读(268) 评论(0) 推荐(0) 编辑

flume到底会丢数据吗？

摘要： 什么时候最容易出问题呢？——flush到HDFS的时候组容易出问题 Flume的两套事务流程，确保不丢数据（一下针对FileChannel）： Put事务：可以理解为Source和Channel为一个整体的事务（比如说，source对接kafka，真正到了Channel(Sink? 根据监控来看，应 阅读全文

posted @ 2021-04-14 14:50 RICH-ATONE 阅读(509) 评论(0) 推荐(0) 编辑

导航