摘要：
1 驱动拷贝 1．在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包 2．拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connect 阅读全文
摘要：
1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据 阅读全文
摘要：
1 HBase在商业项目中的能力 每天： 1) 消息量：发送和接收的消息数超过60亿 2) 将近1000亿条数据的读写 3) 高峰期每秒150万左右操作 4) 整体读取数据占有约55%，写入占有45% 5) 超过2PB的数据，涉及冗余共6PB数据 6) 数据每月大概增长300千兆字节。 2 布隆过滤 阅读全文
摘要：
1 高可用 在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。 1．关闭HBase集群（如果 阅读全文
摘要：
1 HBase与Hive的对比 1．Hive (1) 数据仓库 Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。 (2) 用于数据分析、清洗 Hive适用于离线的数据分析和清洗，延迟较高。 (3) 基于HDFS、MapReduce Hi 阅读全文
摘要：
环境准备 新建项目后在pom.xml中添加依赖： 2 HBaseAPI 2.1 获取Configuration对象 2.2 判断表是否存在 2.3 创建表 2.4 删除表 2.5 向表中插入数据 2.6 删除多行数据 public static void deleteMultiRow(String 阅读全文
摘要：
读流程 HBase读数据流程如图3所示 1）Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息； 2）根据namespace、表名和rowkey在meta表中找到对应的region信息； 3）找到这个reg 阅读全文
摘要：
1 RowKey 与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行，只有三种方式： 1.通过单个RowKey访问 2.通过RowKey的range（正则） 3.全表扫描 RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB，实际应用中长度 阅读全文
摘要：
1 基本操作 1．进入HBase客户端命令行 2．查看帮助命令 3．查看当前数据库中有哪些表 2 表的操作 1．创建表 2．插入数据到表 3．扫描查看表数据 4．查看表结构 5．更新指定字段的数据 6．查看“指定行”或“指定列族:列”的数据 7．统计表数据行数 8．删除数据 删除某rowkey的全部 阅读全文
摘要：
1.1 什么是HBase HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hbase.apache.org -- 2006年Google发表BigTable白皮书 -- 2006 阅读全文
摘要：
1 常见正则表达式语法 题： 1 如何实现Flume数据传输的监控的 使用第三方框架Ganglia实时监控Flume。 2 Flume的Source，Sink，Channel的作用？你们Source是什么类型？ 1、作用 （1）Source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数 阅读全文
摘要：
1 自定义Source说明 Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、 阅读全文
摘要：
4.1 Ganglia的安装与部署 1) 安装httpd服务与php 2) 安装其他依赖 3) 安装ganglia 4) 修改配置文件/etc/httpd/conf.d/ganglia.conf # Ganglia monitoring system php web frontend Alias / 阅读全文
摘要：
概述 1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 下面我们来详细介绍一下Flume架构中的组件。 1.2.1 Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的，是F 阅读全文