2019年12月28日
【异常】The channel is full or unexpected failure. The source will try again after 1000 ms
摘要： Flume采集的控制台提示：The channel is full or unexpected failure. The source will try again after 1000 ms 这个是因为当前被采集的文件过大，深层的原因是文件采集的速度和sink的速度没有匹配好。所以应该可以通过增大 阅读全文
posted @ 2019-12-28 22:01 lemon胡 阅读(2981) 评论(1) 推荐(0) 编辑
【异常】ERROR: Can't get master address from ZooKeeper; znode data == null
摘要： 出现此问题可能是zookeeper不稳定造成的，采用的是虚拟机，经常挂起的状态，使用hbase的list命令出现下面错误，这个可能是hbase的稳定性造成的，解决办法有两种。这里使用第一种办法就解决了。 解决方法：1.重启hbasestop-hbase.sh、然后start-hbase.sh或者，要 阅读全文
posted @ 2019-12-28 19:36 lemon胡 阅读(2287) 评论(0) 推荐(0) 编辑
【异常】Could not start ZK at requested port of 2181. ZK was started at port: 2182. Aborting a
摘要： HMaster和HRegionServer是Hbase的两个子进程，但是使用jps发现没有启动起来，所以去我们配置的logs查看错误信息。提示：Could not start ZK at requested port of 2181. ZK was started at port: 2182. Ab 阅读全文
posted @ 2019-12-28 19:32 lemon胡 阅读(5980) 评论(0) 推荐(2) 编辑
【HBase】HBase的RK设计、避免热点
摘要： 一、HBase的RK设计 HBase读写数据大多数是通过RK，MemStore/HFile存储也是按照字典顺序排列的RK存储，所以要关注RK。 RowKey设计原则： 1）长度原则： RowKey不应该超过16字节，因为若是过长再以KV形式存储，对于HFile和MemStore来说会极大的占用存储空 阅读全文
posted @ 2019-12-28 19:30 lemon胡 阅读(469) 评论(0) 推荐(0) 编辑