大数据全体系年终总结
摘要:到年底了,想着总结下所有知识点好了~今年应用的知识点还是很多的~ Hadoop生态圈: 1、文件存储当然是选择Hadoop的分布式文件系统HDFS,当然因为硬件的告诉发展,已经出现了内存分布式系统Tachyon,不论是Hadoop的MapReduce,Spark的内存计算、hive的MapReudu
阅读全文
posted @
2016-12-11 15:54
松伯
阅读(3866)
推荐(0) 编辑
Hbase数据导入导出
摘要:平时用于从生产环境hbase到导出数据到测试环境。 导入数据: 导出数据:
阅读全文
posted @
2016-11-20 15:04
松伯
阅读(1609)
推荐(0) 编辑
Hbase集群搭建及所有配置调优参数整理及API代码运行
摘要:最近为了方便开发,在自己的虚拟机上搭建了三节点的Hadoop集群与Hbase集群,hadoop集群的搭建与zookeeper集群这里就不再详细说明,原来的笔记中记录过。这里将hbase配置参数进行相应整理,方便日后使用。 首先vi ~/.bash_profile将hbase的环境变量进行配置,最后s
阅读全文
posted @
2016-05-31 01:30
松伯
阅读(8974)
推荐(0) 编辑
Hbase条件筛选
摘要:需求来自于,模糊查找当天的所有记录,并查找对应列的记录数 其实可以都写成内置过滤器,不过HBase还没有深入学习,暂时先这样写啦~
阅读全文
posted @
2016-05-30 17:55
松伯
阅读(1366)
推荐(0) 编辑
Hbase客户端API基础小结笔记(未完)
摘要:客户端API:基础 HBase的主要客户端接口是由org.apache.hadoop.hbase.client包中的HTable类提供的,通过这个类,用户可以完成向HBase存储和检索数据,以及删除无效数据之类的操作。 通常在正常负载下和常规操作下,客户端读操作不会受到其他修改数据的客户端影响,因为
阅读全文
posted @
2016-05-28 01:44
松伯
阅读(854)
推荐(0) 编辑
Hbase预分区种子生成
摘要:提前生成Hbase预分区种子,在创建Hbase表时也进行相应的预分区,同时设置预分区的个数,预分区的范围对应Hbase监控页面的Region Server的start key与End key,从而使数据能够均匀的分布于各个Region中.给捷哥赞一个~
阅读全文
posted @
2016-05-25 16:16
松伯
阅读(839)
推荐(1) 编辑
HBase体系结构
摘要:HBase的服务器体系结构遵从简单的主从服务器架构,它由HRegion服务器(HRegion Service)群和HBase Master服务器(HBase Master Server)构成。Hbase Master服务器负责管理所有的HRegion服务器,而Hbase中所有的服务器是通过Zooke
阅读全文
posted @
2016-05-15 20:30
松伯
阅读(1121)
推荐(0) 编辑
HBASE解析
摘要:Hbase是运行在Hadoop上的NoSQL数据库,它是一个分布式的和可扩展的大数据仓库,也就是说HBase能够利用HDFS的分布式处理模式,并从Hadoop的MapReduce程序模型中获益。这意味着在一组商业硬件上存储许多具有数十亿行和上百万列的大表。除去Hadoop的优势,HBase本身就是十...
阅读全文
posted @
2016-01-20 20:44
松伯
阅读(290)
推荐(0) 编辑
Hbase伪分布式
摘要:其实我就是要让数据存储在hdfs上而已。。。。。。。。多配置点东西就好了,在hbase-site.xml中加入: hbase.rootdir hdfs://yangsy132:9000/user/hive/warehouse/ ...
阅读全文
posted @
2015-11-26 21:57
松伯
阅读(457)
推荐(0) 编辑
JAVA使用HBASE常用方法
摘要:package HBaseTest;/** * Created by root on 11/11/22. */import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop...
阅读全文
posted @
2015-11-22 22:30
松伯
阅读(535)
推荐(0) 编辑
Hbase基本操作~
摘要:创建一个名为PageViews的表,并具有名为info的列簇:create 'PageViews', 'info'每张表至少要有一个列簇,因此我们创建了info,现在,看看我们的表,执行下面list命令:list通过describe命令得到表的更多信息:Describe命令返回表的详细信息,包括列簇...
阅读全文
posted @
2015-11-08 23:23
松伯
阅读(251)
推荐(0) 编辑
Hbase的安装(hadoop-2.6.0,hbase1.0)
摘要:Hbase的安装相对很简单啊。。。只要你装了Hadoop 装Hbase就是分分钟的事 如果要装hadoop集群的话 hadoop分类的集群安装好了,如果已经装好单机版~ 那就再配置如下就好~ 一、vi ~/.bash_profile 加入环境变量 二、在mapred-site.xml加入...
阅读全文
posted @
2015-11-02 23:53
松伯
阅读(523)
推荐(0) 编辑