随笔分类 -  Hadoop

Hbase 计数器
摘要：Hbase计数器可以用于统计用户数，点击量等信息基本操作可以使用incr操作计数器，incr语法格式如下：incr '', '', '', ||然后使用get_counter可以获取对应的计数器的值不用初始化计数器，第一次使用计数器时，计数器被自动设置为0eg：对于wishTest1表incr 'w... 阅读全文
posted @ 2014-05-29 18:41 wishyouhappy 阅读(3688) 评论(0) 推荐(0) 编辑
HBase协处理器
摘要：说明：类似于RDBMS中触发器，允许用户在region服务器上运行自己的代码，在客户端用户不用关心操作具体在哪进行使用场景：权限控制，回调函数(钩子函数)、扫描统计等主要类：observer和endpointobserver：类似触发器，回调函数在特定事件发生时执行endpoint：类似数据库存储过... 阅读全文
posted @ 2014-05-29 18:41 wishyouhappy 阅读(782) 评论(0) 推荐(0) 编辑
使用sqoop工具从oracle导入数据
摘要：sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁，支持关系型数据库和hive、hdfs，hbase之间数据的相互导入，可以使用全表导入和增量导入从RDBMS中抽取出的数据可以被MapReduce程序使用，也可以被类似Hive的工具使用；得到分析结果后sqoop可以将结果导回数据库，... 阅读全文
posted @ 2014-05-27 17:53 wishyouhappy 阅读(12689) 评论(0) 推荐(0) 编辑
HBASE API操作问题总结
摘要：org.apache.hadoop.hbase.MasterNotRunningException在centos中查看，发现没有HMaster进程解决方法：1.启动hadoop后，需要等一段时间，再开启hbase2、启动hadoop后，去掉hadoop的安全模式，然后启动hbasehadoop df... 阅读全文
posted @ 2014-05-26 19:45 wishyouhappy 阅读(1115) 评论(0) 推荐(0) 编辑
HBase Client API使用（二）---查询及过滤器
摘要：相关知识创建表插入数据删除等见：http://www.cnblogs.com/wishyouhappy/p/3735077.htmlHBase API简介见：http://www.cnblogs.com/wishyouhappy/p/3753347.html按行、列簇等查询package wish.... 阅读全文
posted @ 2014-05-26 19:43 wishyouhappy 阅读(3843) 评论(0) 推荐(0) 编辑
HBase Java API入门
摘要：概括1. 创建、删除及启用禁用表、添加列等都需用到HBaseAdmin，另外需要注意删除，添加列等操作都需要禁用表2. 表中添加数据，查询等都是和HTable相关，如果是多线程的情况下注意用HTablePool3. 插入数据使用Put，可以单行添加也可批量添加4. 查询数据需使用Get，Result... 阅读全文
posted @ 2014-05-26 18:02 wishyouhappy 阅读(2520) 评论(0) 推荐(0) 编辑
HBase Java API使用（一）
摘要：前言1. 创建表：（由master完成）首先需要获取master地址（master启动时会将地址告诉zookeeper）因而客户端首先会访问zookeeper获取master的地址client和master通信，然后有master来创建表（包括表的列簇，是否cache，设置存储的最大版本数，是否压缩... 阅读全文
posted @ 2014-05-18 16:27 wishyouhappy 阅读(6994) 评论(0) 推荐(0) 编辑
MapReduce入门
摘要：说明MapReduce是一种分布式计算模型，解决海量数据的计算问题，主要有Map和Reduce组成用户使用时需要实现map()和reduce()两个函数，两个函数的形参都是key/value键值对若以eclipse为开发环境，运行时出现内存不足的情况，需要修改虚拟机的参数 (例如把Default V... 阅读全文
posted @ 2014-05-18 12:15 wishyouhappy 阅读(559) 评论(2) 推荐(0) 编辑
HDFS基础和java api操作
摘要：1. 概括适合一次写入多次查询情况，不支持并发写情况通过hadoop shell 上传的文件存放在DataNode的block中，通过linux shell只能看见block，看不见文件（HDFS将客户端的大文件存放在很多节点的数据块中，Block本质上是一个逻辑概念，它是hdfs读写数据的基本单位... 阅读全文
posted @ 2014-05-17 08:56 wishyouhappy 阅读(680) 评论(0) 推荐(0) 编辑
Hbase与RDBMS
摘要：hbase与传统关系数据库区别hbase适合于非结构化数据存储的数据库。介于Map Entry 和 DB row之间的一种数据存储方式。1. 数据类型： HBase只有简单的字符串类型，它只保存字符串所有的类型都是交给用户自己处理。关系型数据库可以选择类型2. 数据操作： HBase操作只有很简单的... 阅读全文
posted @ 2014-05-08 20:41 wishyouhappy 阅读(2136) 评论(0) 推荐(1) 编辑
Hbase学习笔记（安装和基础知识及操作）
摘要：参考书籍： Hadoop in action, 吴超沉思录1.Hbase简介 1.面向列的分布式数据库 2. 以HDFS作为文件系统 3. 利用MapReduce处理Hbase中海量数据 4. ZookKeeper作为协调工具 5. sqoop提供Hbase到关系型数据库中数据导入功能 ... 阅读全文
posted @ 2014-05-06 21:23 wishyouhappy 阅读(5025) 评论(0) 推荐(1) 编辑
hadoop学习笔记——基础知识及安装
摘要：1.核心 HDFS 分布式文件系统 主从结构，一个namenoe和多个datanode， 分别对应独立的物理机器 1)NameNode是主服务器，管理文件系统的命名空间和客户端对文件的访问操作。NameNode执行文件系统的命名空间操作，比如打开关闭重命名文件或者目录等，它也负责... 阅读全文
posted @ 2014-05-04 20:29 wishyouhappy 阅读(2236) 评论(0) 推荐(3) 编辑