上一页 1 ··· 3 4 5 6 7
摘要: 一、sqoop作用? sqoop是一个数据交换工具,最常用的两个工具是导入导出。 导入导出的参照物是hadoop,向hadoop导数据就是导入。 二、sqoop的版本? sqoop目前有两个版本,1.4.X为sqoop1;1.99.X为sqoop2。两个版本不兼容。 三、使用sqoop列出mysql 阅读全文
posted @ 2016-07-22 15:57 dongdone 阅读(30793) 评论(8) 推荐(0) 编辑
摘要: hbase提供了类似于触发器的组件observer,类似于存储过程的endpoint。 hbase中的observer分别三类,MasterObserver、RegionObserver、WALObserevr 使用java代码也可以达到相同的效果,但是服务器端的observer相对是比较高效的 一 阅读全文
posted @ 2016-07-21 15:17 dongdone 阅读(2242) 评论(0) 推荐(0) 编辑
摘要: 需求:对hbase的一张表进行拷贝 一、table1的内容如下 二、现在将table1拷贝 hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=table2 table1 三、scan table2中的数据 阅读全文
posted @ 2016-07-21 11:41 dongdone 阅读(478) 评论(0) 推荐(0) 编辑
摘要: 需求:将HDFS上的文件中的数据导入到hbase中 实现上面的需求也有两种办法,一种是自定义mr,一种是使用hbase提供好的import工具 一、hdfs中的数据是这样的 每一行的数据是这样的id name age gender birthday 二、自定义mr 2.1打包运行 首先在hbase中 阅读全文
posted @ 2016-07-21 11:00 dongdone 阅读(18960) 评论(0) 推荐(2) 编辑
摘要: 本次操作的hbase的t1表的数据是: 需求1:查询rk为数字的全部记录 需求2:查询以字母a开头的数据 阅读全文
posted @ 2016-07-20 16:27 dongdone 阅读(2074) 评论(0) 推荐(0) 编辑
摘要: 一、目的 把hbase中某张表的数据导出到hdfs上一份。 实现方式这里介绍两种:一种是自己写mr程序来完成,一种是使用hbase提供的类来完成。 二、自定义mr程序将hbase数据导出到hdfs上 2.1首先看看hbase中t1表中的数据: 2.2mr的代码如下: 比较重要的语句是 job.set 阅读全文
posted @ 2016-07-20 11:55 dongdone 阅读(14552) 评论(0) 推荐(0) 编辑
摘要: 在map或者reduce函数中使用System.out.println打印的信息沾满查看呢? 步骤1:启动history server /usr/local/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh start historyserver 步骤2:使用htt 阅读全文
posted @ 2016-07-20 11:19 dongdone 阅读(416) 评论(0) 推荐(0) 编辑
摘要: 一、简单介绍 hive的元数据保存在metastore里面,真实的数据一般位于hdfs中,可以通过hql来对数据进行分析。hbase中的数据也是存放在hdfs上的,可不可以使用hive来分析hbase中的数据呢? 二、hive表到hbase表的映射 2.1hbase表t1的结构和其中的数据如下图 2 阅读全文
posted @ 2016-07-18 15:10 dongdone 阅读(6047) 评论(0) 推荐(0) 编辑
摘要: 一、phoenix的简介 hbase的java api或者其语法很难用,可以认为phoenix是一个中间件,提供了访问hbase的另外的语法。 二、配置phoenix和hbase 1.下载 phoenix的官网是:http://phoenix.apache.org/,用户可以到该网址找到对应hbas 阅读全文
posted @ 2016-07-18 13:33 dongdone 阅读(1962) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7