随笔分类 - hbase
摘要:http://hbase.apache.org/book/configuration.html#basic.prerequisitesHBase-0.94.xHBase-0.98.x (Support for Hadoop 1.1+ is deprecated.)HBase-1.0.x (Hadoo...
阅读全文
摘要:来自:http://blog.csdn.net/iam333/article/details/18770977最近由于业务需要,需要将flume的数据插入HBase-0.96,利用flume的实时日志收集,实现数据的实时存储。正如前文所 述,flume-ng即flume-1.4.0版本和hbase-0.96结合相对比较容易配置,只需要做一些相关配置,实现自己的 HbaseEventSerializer类,重新编译flume-ng-hbase-sink部分源码并打包即可。但是因为公司以前业务的日志收集使用 的flume不是flume-1.4.0版本,而是flume-0.9.4,所以为了保证对原来
阅读全文
摘要:http://wenku.baidu.com/view/5eb3b4a6f90f76c661371abe.html或http://blog.csdn.net/chengweipeng123/article/details/7174717
阅读全文
摘要:(1)scan.setCacheBlocks(false);初始化map任务 TableMapReduceUtil.initTableMapperJob本次mr任务scan的所有数据不放在缓存中,一方面节省了交换缓存的操作消耗,可以提升本次mr任务的效率,另一方面,一般mr任务scan的数据都是 一次性或者非经常用到的,因此不需要将它们替换到缓存中,缓存中还是放一些正常的多次访问的数据,这样可以提升查询性能。(2)conf.setBoolean("mapred.map.tasks.speculative.execution", false);是否开启mr的map备用任务机制
阅读全文
摘要:转自:http://www.cnblogs.com/mbailing/p/3365769.html使用hbase 命令之前先检查一下hbase是否运行正常hadoop@Master:/usr/hbase/bin$ jps2640 HMaster27170 NameNode27533 Secondar...
阅读全文