随笔分类 - hadoop/hbase
摘要：1. 查看日志，找到出错位置。 源码位置：hbase-0.94.11\src\main\java\org\apache\hadoop\hbase\master\AssignmentManager.java 1879 可以看到，问题是由于把某个region进行transit过程中出现了错。 造成的原因
阅读全文
摘要：一。首先会议流程。 1. The current status of HBase 2.The advantage and technology trend of HBase on the cloud 3.之后是三个分会场。详见图。 二。The current status of HBase 目前最s
阅读全文
摘要：转载自：https://www.cnblogs.com/itboys/p/7603634.html 在HBase读写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入一个新的Cell，它含有Delete标记，而不一定将一个Cel
阅读全文
摘要：一、服务端调优 1、参数配置 1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，
阅读全文
摘要：阅读本文可以带着下面问题：1.HBase遇到问题，可以从几方面解决问题？2.HBase个别请求为什么很慢？你认为是什么原因？3.客户端读写请求为什么大量出错？该从哪方面来分析？4.大量服务端exception，一般原因是什么？5.系统越来越慢的原因是什么？6.Hbase数据写进去，为什么会没有了，可
阅读全文
摘要：任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。总结起来，大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大
阅读全文
摘要：版本：0.94-cdh4.2.1 hbase-site.xml配置 hbase.tmp.dir 本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的 线上配置 <property> <name>hbase.tmp.dir</name
阅读全文
摘要：1. sudo vim /etc/hostname 在master的机器上，改成 master 在slave上写 slave01,02,03...... 配置好后重启。 2. sudo vim /etc/hosts （此处最好改成内网中服务器的真实ip,不要用浮动ip，否则会出现“Problem b
阅读全文
摘要：1.起初使用ycsb对hbase进行benchmark，分别在100%写的情况下检测写性能；在100%读的情况下检测读的性能。实验数据如下： 2.新版本的habse写性能竟然不如老版本。！！！。于是我从头梳理了hbase的原理和新老版本的配置，参数等等。认为新版本的读写性能应该比旧版本好，于是不甘心
阅读全文
摘要：Ycsb下载地址：https://github.com/brianfrankcooper/YCSB/releases 目前测试hbase0.94.11，因此下载ycsb-0.1.4.tar.gz 1． 解压缩ycsb: sudo tar -zxvf ycsb-0.1.4.tar.gz -C /usr
阅读全文
摘要：Ycsb下载地址：https://github.com/brianfrankcooper/YCSB/releases 目前测试hbase1.4.9，因此下载ycsb-hbase14-binding-0.15.0.tar.gz 。 （测试是在伪分布式下进行。） 1． 解压缩ycsb: sudo tar
阅读全文
摘要：Hbase从0.94.11升级到stable的1.4.9版本： 升级思路: hadoop1.1.2 hbase 0.94.11 ↓ hadoop1.1.2 hbase 0.96.0-hadoop1 ↓ hadoop1.1.2 hbase 0.98.0-hadoop1 ↓ Hadoop2.2.0 hb
阅读全文
摘要：https://www.jianshu.com/p/990bb550be3b hbase0.94.11（hadoop为1.1.2，此电脑ip为172.19.32.128）向hbase1.1.2 (hadoop为2.6.5，此电脑ip为172.19.32.118)数据迁移. 第一步：首先必须关闭防火墙
阅读全文
摘要：Hadoop 1.1.2 和Hbase 0.94.11版本配置 测试时ip 172.19.32.128 这个版本需要把/etc/hosts的aa-vm改成127.0.0.1,也就是和localhost一致。否则hbase会出现master在初始化（出现此问题还可能是时间不同步） 1.更新apt Su
阅读全文
摘要：1.注意hadoop和hbase的版本兼容问题 目前测试用：hadoop 2.6.5 Hbase 1.1.2 2.创建hadoop用户 Sudo useradd –m hadoop –s /bin/bash 创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shel. Sudo
阅读全文
