2018年10月25日
cdh单个节点挂掉或重启，导致这个节点hadoop组件不能重启
摘要： 背景：集群一个节点无缘无故重启了，导致该节点的所有大数据的组件都不能开启。而且集群一片报红 解决方法，在出问题的节点重启一下agent就可以了 之后开启该节点的yarn重启 再开启hdfs重启就好了(注意这个开启顺序) 阅读全文
posted @ 2018-10-25 18:42 聚云 阅读(1955) 评论(0) 推荐(0) 编辑
spark streaming入hbase
摘要： 1.一般的入hbase 2.下面给出一个发送kafka和接收kafka入spark hbase 生产数据 接收并入hbase代码 阅读全文
posted @ 2018-10-25 11:08 聚云 阅读(355) 评论(0) 推荐(0) 编辑
HBase内置过滤器的总结
摘要： 1、RowFilter:筛选出匹配的所有的行(使用过)eg：Filter rf=new RowFilter(CompareFilter.CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes("row1")));//OK筛选出匹配的所有的行 2、Pref 阅读全文
posted @ 2018-10-25 10:01 聚云 阅读(1152) 评论(0) 推荐(0) 编辑
java统计hbase条数(开始rowkey,结束rowkey,字符反转，模糊匹配)
摘要： 代码如下，不需要配置文件 阅读全文
posted @ 2018-10-25 09:32 聚云 阅读(5282) 评论(0) 推荐(0) 编辑