随笔分类 - Hbase技术相关
摘要:垃圾回收优化当region服务器处理大量的写入负载时,繁重的任务会迫使JRE默认的内存分配策略无法保证程序的稳定性 所以我们可能需要对region服务器的垃圾回收机制进行一些参数调整(因为master并不处理实际任务,所以没有优化的必要) 首先来了解JAVA内存中的几个概念 在HBase构架中我们可
阅读全文
摘要:#版本支持 #官网下载二进制包,解压到/usr/app下,配置/etc/profile: export HBASE_HOME=/usr/app/hbase export PATH=$HBASE_HOME/bin:$PATH #根据实际情况是否拷hadoop/share/hadoop 下所有 hado
阅读全文
摘要:#官网下载二进制包解压到/usr/app下,配置/etc/profile: export ZOOKEEPER_HOME=/usr/app/zookeeper export PATH=$PATH:$ZOOKEEPER/bin #mkdir /usr/app/zookeeper/data -p 新建目录
阅读全文
摘要:hbase.tmp.dir:本地文件系统的临时目录,默认是java.io.tmpdir/hbase−java.io.tmpdir/hbase−{user.name}; hbase.rootdir:hbase持久化的目录,被所有regionserver共享,默认${hbase.tmp.dir}/hba
阅读全文
摘要:1 #!/bin/sh 2 3 ################################## 4 # CreateDate:2018/7/16 10:40 5 # ModifyDate:2018/7/16 11:06 6 ################################# 7 8 #############create a snapshot for t...
阅读全文
摘要:第一种方式:hbase shell test.txt test.txt:list 第二种方式:<<EOF重定向输入 我们经常在shell脚本程序中用<<EOF重定向输入,将我们输入的命令字符串作为一个执行程序的输入,这样,我们就不需要在那个程序环境中手工输入命令,以便自动执行我们需要的功能。将hba
阅读全文
摘要:本文将对Apache HBase可用的数据备份机制和大量数据的故障恢复/容灾机制做简要介绍。 随着HBase在重要的商业系统中应用的大量添加,很多企业须要通过对它们的HBase集群建立健壮的备份和故障恢复(backup and disaster recovery, BDR)机制来保证它们的企业(数据
阅读全文
摘要:在业务空闲的时候修改压缩格式 先测试 测试表create 'test', { NAME => 'c',VERSIONS => 1}desc 'test'disable 'test'alter 'test', NAME => 'c',COMPRESSION => 'snappy'enable 'tes
阅读全文
摘要:1.配置/etc/yum.repos.d clouder-kudu.repo [cloudera-kudu]# Packages for Cloudera's Distribution for kudu, Version 5, on RedHat or CentOS 6 x86_64name=Clo
阅读全文
摘要:1.hbase client配置参数 超时时间、重试次数、重试时间间隔的配置也比较重要,因为默认的配置的值都较大,如果出现hbase集群或者RegionServer以及ZK关掉,则对应用程序是灾难性的,超时和重新等会迅速占满web容器的链接,导致web容器停止服务,关于socket的超时时间,有两种
阅读全文
摘要:Zookeeper API ZooKeeper有一个Java和C绑定的官方API。ZooKeeper社区提供了对于大多数语言(.NET,Python等)的非官方API。使用ZooKeeper的API,应用程序可以连接,互动,操作数据,协调,以及从ZooKeeper集成断开。 ZooKeeper AP
阅读全文
摘要:ZooKeeper是一个分布式协调服务来管理大量的主机。协调和管理在分布式环境的一个服务是一个复杂的过程。ZooKeeper 简单解决了其结构和API这个问题。ZooKeeper允许开发人员能够专注于核心应用程序逻辑,而无需担心应用程序的分布式特性。 ZooKeeper框架始建于“雅虎”,一个简单而
阅读全文
摘要:HBase扫描 scan 命令用于查看HTable数据。使用 scan 命令可以得到表中的数据。它的语法如下: scan ‘<table name>’ 下面的示例演示了如何使用scan命令从表中读取数据。在这里读取的是emp表。 hbase(main):010:0> scan 'emp' ROW C
阅读全文
摘要:HBase创建数据 本章将介绍如何在HBase表中创建的数据。要在HBase表中创建的数据,可以下面的命令和方法: put 命令, add() - Put类的方法 put() - HTable 类的方法. 作为一个例子,我们将在HBase中创建下表。 使用put命令,可以插入行到一个表。它的语法如下
阅读全文
摘要:本章介绍用于对HBase表上执行CRUD操作的HBase Java客户端API。 HBase是用Java编写的,并具有Java原生API。因此,它提供了编程访问数据操纵语言(DML)。 HBaseConfiguration类 添加 HBase 的配置到配置文件。这个类属于org.apache.had
阅读全文
摘要:HBase Exists 可以使用exists命令验证表的存在。下面的示例演示了如何使用这个命令。 hbase(main):024:0> exists 'emp' Table emp does exist 0 row(s) in 0.0750 seconds hbase(main):015:0> e
阅读全文
摘要:HBase创建表 可以使用命令创建一个表,在这里必须指定表名和列族名。在HBase shell中创建表的语法如下所示。 create ‘<table name>’,’<column family>’ 示例 下面给出的是一个表名为emp的样本模式。它有两个列族:“personal data”和“pro
阅读全文
摘要:HBaseAdmin是一个类表示管理。这个类属于org.apache.hadoop.hbase.client包。使用这个类,可以执行管理员任务。使用Connection.getAdmin()方法来获取管理员的实例。 方法及说明 void createTable(HTableDescriptor de
阅读全文
摘要:HBase Shell HBase包含可以与HBase进行通信的Shell。 HBase使用Hadoop文件系统来存储数据。它拥有一个主服务器和区域服务器。数据存储将在区域(表)的形式。这些区域被分割并存储在区域服务器。 主服务器管理这些区域服务器,所有这些任务发生在HDFS。下面给出的是一些由HB
阅读全文