摘要： 1.如果是安装了hbase,在hbase里也可以备份(网上有)。下面介绍在hadoop下备份hdfs数据(我的也安装hbase) 不是cdh.找自己的配置文件也可以 2.进入这个目录下然后执行下面的命令 参考cdh4升级5:https://yq.aliyun.com/articles/25690?s 阅读全文

只有注册用户登录后才能阅读该文。 阅读全文

摘要： 1.修改yarn每个节点的内存大小 下图yarn是各个节点内存的大小 2.对yarn这些资源配置解释 yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而Y 阅读全文

摘要： 1.hbase shell命令行没有模糊查询，但有一个类似的模糊查询，过滤器 阅读全文

摘要： 1.全部代码不再粘贴，只粘贴主要代码。spark streaming主方法代码 主方法入hbase(和上面的代码片段在一个文件里) 2.DataBaseOperation类 另一个对象文件 上面是传一个machno作为数据的关联。只获取了一个字符串，下面另一个案例是传一个Map 1.主函数 2.主要 阅读全文

摘要： 1.时间戳(毫秒)转时间 普通显示的 2.保留小数点后12位数字 3.2进制转10进制 4.16进制转2进制 5.进制转换 6.正则匹配 7.截取特殊符号前后字符串 8.时间格式化 综合，下面有可能会重复，但实现方式是不一样的 9.一个程序同时消费多个kafkak里的数据 10.两个map合并为一个 阅读全文

摘要： 背景：集群一个节点无缘无故重启了，导致该节点的所有大数据的组件都不能开启。而且集群一片报红 解决方法，在出问题的节点重启一下agent就可以了 之后开启该节点的yarn重启 再开启hdfs重启就好了(注意这个开启顺序) 阅读全文

摘要： 1、RowFilter:筛选出匹配的所有的行(使用过)eg：Filter rf=new RowFilter(CompareFilter.CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes("row1")));//OK筛选出匹配的所有的行 2、Pref 阅读全文

摘要： 1.hbase的导入与导出 命令: 说明:上面都是例子，以增量导入为例 首先查看表的版本，命令:desc '表名' 就可以查看表的版本 后面的时间是转化过去的：2017-05-19 00:00:00 1495123200000 如果想增量导入。自己转化好时间即可 2.查看文件： 注：上面的路径并不是 阅读全文

摘要： Scala中的None,Nothing,Null,Nil 在scala中这四个类型名称很类似，作用确实完全不同的。 1.None是一个object，是Option的子类型 scala推荐在可能返回空的方法使用Option[X]作为返回类型。如果有值就返回Some[x](Some也是Option的子类 阅读全文