随笔分类 -  Hbase

hbase自带mapreduce计数表行数功能
摘要：$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter ‘tablename’ mapreduce来计数，很快的！！！ 阅读全文

posted @ 2016-02-22 16:41 1130136248 阅读(1861) 评论(0) 推荐(0) 编辑

hadoop 及hbase zookeeper 经常出现问题
摘要：往往是以下几个1/ 各节点时间不统一（写shell文件统一时间）2/配置文件 /etc/hosts文件中ip地址配置错误（更新ip）3/断网后重启机器 ip地址被修改（更新配置文件中的ip） 阅读全文

posted @ 2016-01-26 17:55 1130136248 阅读(256) 评论(0) 推荐(0) 编辑

HBase数据的导入和导出
摘要：查阅了几篇中英文资料，发现有的地方说的不是很全部，总结在此，共有两种命令行的方式来实现数据的导入导出功能，即备份和还原。1 HBase本身提供的接口其调用形式为：1）导入./hbase org.apache.hadoop.hbase.mapreduce.Driver import 表名 数据文件位... 阅读全文

posted @ 2016-01-19 11:07 1130136248 阅读(1893) 评论(0) 推荐(0) 编辑

浅谈hbase表中数据导出导入（也就是备份）
摘要：转自：http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=23916356&id=3321832最近因为生产环境hbase中某张表的数据要导出到测试环境（数据不多，大概200W条左右），如果用程序掉接口导入的话太慢，所以考虑直接用hbas... 阅读全文

posted @ 2016-01-19 11:06 1130136248 阅读(10223) 评论(0) 推荐(0) 编辑

Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别
摘要：初接触Hadoop技 术的朋友肯定会对它体系下寄生的个个开源项目糊涂了，我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂，不要紧糊涂的不止你一个，如 某个菜鸟的帖子的疑问，when to use Hbase and when to use Hive？....请教了^_^没关系这里我... 阅读全文

posted @ 2016-01-14 14:30 1130136248 阅读(692) 评论(0) 推荐(0) 编辑

HBase性能优化方法总结（一）：表的设计
摘要：本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容：表的设计相关的优化方法。1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会... 阅读全文

posted @ 2015-11-26 21:16 1130136248 阅读(284) 评论(0) 推荐(0) 编辑

Java 向Hbase表插入数据报（org.apache.hadoop.hbase.client.HTablePool$PooledHTable cannot be cast to org.apac
摘要：org.apache.hadoop.hbase.client.HTablePool$PooledHTable cannot be cast to org.apac代码：//1.create HTablePoolHTablePool hp=new HTablePool(con, 1000);//2.... 阅读全文

posted @ 2015-11-26 21:11 1130136248 阅读(331) 评论(0) 推荐(0) 编辑

Lucene入门教程（转载）
摘要：lucene 阅读全文

posted @ 2015-11-25 16:29 1130136248 阅读(202) 评论(0) 推荐(0) 编辑

hbase建索引的两种方式
摘要：转载自http://blog.csdn.net/ryantotti/article/details/13295325在二级索引的实现技术上一般有几个方案：1. 表索引使用单独的hbase表存储索引数据，业务表的索引列值做为索引表的rowkey，业务表的rowkey做为索引表的qualifier或va... 阅读全文

posted @ 2015-11-24 11:33 1130136248 阅读(1339) 评论(0) 推荐(0) 编辑

Hbase shell 中能否通过filter实现的高级查询
摘要：import org.apache.hadoop.hbase.filter.CompareFilterimport org.apache.hadoop.hbase.filter.SingleColumnValueFilterimport org.apache.hadoop.hbase.filter.... 阅读全文

posted @ 2015-11-24 11:28 1130136248 阅读(523) 评论(0) 推荐(0) 编辑

为什么Hbase能实现快速的查询
摘要：你的快速是指什么？是根据亿级的记录中快速查询，还是说以实时的方式查询数据。A：如果快速查询（从磁盘读数据），hbase是根据rowkey查询的，只要能快速的定位rowkey,就能实现快速的查询，主要是以下因素：1、hbase是可划分成多个region，你可以简单的理解为关系型数据库的多个分区。2、键... 阅读全文

posted @ 2015-11-24 11:05 1130136248 阅读(9126) 评论(0) 推荐(1) 编辑

Hadoop学习笔记—15.HBase框架学习（基础实践篇）
摘要：Hadoop学习笔记—15.HBase框架学习（基础实践篇）一、HBase的安装配置1.1 伪分布模式安装 伪分布模式安装即在一台计算机上部署HBase的各个角色，HMaster、HRegionServer以及ZooKeeper都在一台计算机上来模拟。 首先，准备好HBase的安装包，我这里使用... 阅读全文

posted @ 2015-11-18 17:03 1130136248 阅读(246) 评论(0) 推荐(0) 编辑

Hadoop学习笔记—15.HBase框架学习（基础知识篇）
摘要：Hadoop学习笔记—15.HBase框架学习（基础知识篇）HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型，它存储的是松散型数据。一、HBase：BigTab... 阅读全文

posted @ 2015-11-18 17:02 1130136248 阅读(219) 评论(0) 推荐(0) 编辑

【转】HBase技术介绍 转载自 http://www.searchtb.com/2011/01/understanding-hbase.html
摘要：HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件... 阅读全文

posted @ 2015-10-19 11:18 1130136248 阅读(242) 评论(0) 推荐(0) 编辑

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

导航

统计

点击右上角即可分享
微信分享提示