HBase使用压缩存储（snappy）
摘要：在将mysql数据导入到hbase数据的过程中，发现hbase的数据容量增加很快，原本在mysql存储30G容量的数据导入到hbase一直增加到快150G（还未完全导入，手动结束），而采用默认3个备份储存的话，基本上真个集群有450G的容量。查看了一些资料，发现hbase的储存确实耗空间，一般hba...
阅读全文
posted @ 2015-05-29 16:31
05 2015 档案
Sqoop的使用（Mysql To HBase）
摘要：最近需要将mysql的数据整合到HBase中，原本使用MapReduce，自己制作job将mysql的数据导入，查阅资料过程中，发现了开源工具sqoop（关系性数据库与HDFS，HBASE，HIVE等）互相导入的工具，于是准备尝试使用，看是否能够满足目前数据转移的需求。sqoop import --...
阅读全文
posted @ 2015-05-20 18:11
部署HBase远程访问的问题集合（Eclipse）
摘要：实现远程访问HBase，可以通过Eclipse开发工具方便进行代码调试。为了方便jar包各种版本的管理，才用maven进行代码构建首先，下载并安装maven以及M2Eclipse插件其次，配置maven的pom.xml文件，加入如下依赖 org.apache.hbase hbase-cl...
阅读全文
posted @ 2015-05-16 10:39
CDH安装
摘要：由于逐渐面临高频数据的问题，所以计划正式启用hadoop分布式计算，去年10月份研究过一段时间hadoop的部署情况，确定使用CDH版本的hadoop（最新5.4.0），主要是考虑维度是减少运维难度以及快速部署上线（当然如果想更好的学习hadoop，还是建议从hadoop原生态版本部署入手）。好脑子...
阅读全文
posted @ 2015-05-14 16:27
关闭iptables（Centos）
摘要：由于搭建了CDH-Hadoop，方便起见，事先关闭了防火墙：services iptables stop;chkconfig iptables off;services ip6tables stop;chkconfig ip6tables off;但是发现reboot以后，iptables仍然启动，...
阅读全文
posted @ 2015-05-14 09:35
Centos移除图形界面
摘要：在此之前为了试验SAS Linux，在一台centos服务器上安装了desktop界面，目前需要删除这些界面组件，可以按照以下步骤实现：1. yum grouplist查看安装的组件2. 使用yum groupremove删除掉所有包含Desktop以及 X Windows的组件3. 在/etc/i...
阅读全文
posted @ 2015-05-11 09:13
查询mysql数据库表的信息（表大小、数据大小、索引大小）
摘要：select * from information_schema.TABLES where information_schema.TABLES.TABLE_SCHEMA='databasename' and information_schema.TABLES.TABLE_NAME='table...
阅读全文
posted @ 2015-05-06 16:56
