风-fmgao

摘要： MapReduce编程刨析： Map map函数是对一些独立元素组成的概念列表(如单词计数中每行数据形成的列表)的每一个元素进行指定的操作(如把每行数据拆分成不同单词,并把每个单词计数为1),用户可以自定义一个把数据拆分成不同单词并把单词计数为1的映射map函数),事实上每个元素都是被独立操作的,而 阅读全文

摘要： MapReduce 计数器、最值： 计数器 数据集在进行MapReduce运算过程中，许多时候，用户希望了解待分析的数据的运行的运行情况。Hadoop内置的计数器功能收集作业的主要统计信息，可以帮助用户理解程序的运行情况，辅助用户诊断故障。 这些记录了该程序运行过程的的一些信息的计数，如Map in 阅读全文

摘要： MapReduce Top N 、二次排序，MapJoin： TOP N 对于一组输入List(key,value),我们要创建一个Top N 列表,这是一种过滤模式,查看输入数据特定子集,观察用户的行为。 解决方案 key是唯一键，需要对输入进行额外的聚集处理，先把输入分区成小块，然后把每个小块发 阅读全文

摘要： HBase的基本概念和安装： Hbase简介 HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hbase.apache.org 2006年Google发表BigTable白皮书 阅读全文

摘要： Hbase的数据模型和读写原理： ​ HBase是一个开源可伸缩的分布式数据库,他根据Google Bigtable数据模型构建在hadoop的hdfs存储系统之上。 ​ HBase是一个稀疏、多维度、排序的映射表。表的索引是行键、列族、列限定符和时间戳，一个列族中可以包含任意多个列，同一个列族里面 阅读全文

摘要： HBase的shell操作和JavaAPI的使用： Shell 表操作 创建表 插入表 查看表数据 查看表结构 更新指定字段 查看指定行数据 统计表行数 删除数据 删除rowkey的某一列 清空数据 删除表 表更表信息 Java API 环境准备 HBaseAPI 获取Configuration对象 阅读全文

摘要： Hbase 高可用、预先分区、布隆过滤器： 高可用 HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可 阅读全文

摘要： Zookeeper相关介绍和选举算法、应用场景等： Zookeeper 的简介 Zookeeper是一个开源的分布式的，一个针对大型分布式系统的可靠协调系统的Apache项目。 目标是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper已经成为Had 阅读全文

摘要： Zookeeper的分布式安装和API介绍： 安装教程 在datanode1、datanode2和datanode3三个节点上部署Zookeeper。 步骤 解压zookeeper安装包到/opt/module/目录下 /opt/module/zookeeper-3.4.10/这个目录下创建zkDa 阅读全文

摘要： Flume案例和Flume监控系统的使用： 安装 解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下 3. 修改apache-flume-1.7.0-bin的名称为flume 将flume/conf下的flume-env.sh.template文件修改为f 阅读全文