摘要：
环境搭建 创建一个普通的Maven项目 导入log4j.properties日志文件到项目的根目录或者resource文件下。 在pom.xml中添加Zookeeper的相关依赖： <dependency> <groupId>org.apache.zookeeper</groupId> <artif 阅读全文
摘要：
命令行语法 命令基本语法 功能描述 help 显示所有操作命令 ls path [watch] 使用 ls 命令来查看当前znode中所包含的内容 ls -s path [watch] 查看当前节点信息 create 普通创建 -s 含有序列 -e 临时（重启或者超时消失） get path [wa 阅读全文
摘要：
概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据（数据量不能太大），然后接受观察者的注册，也就是客户端可以去监听我们在Zookeeper上 阅读全文
摘要：
前言 半数机制（Paxos 协议）：集群中半数以上机器存活，集群可用。所以zookeeper适合装在奇数台机器上。 Zookeeper虽然在配置文件中并没有指定master和slave。但是，zookeeper工作时，是有一个节点为leader，其他则为follower，Leader是通过内部的选举 阅读全文
摘要：
环境准备 安装jdk 通过xftp工具拷贝zookeeper到到linux系统下，为了方便我已经将安装包存储在百度网盘里啦！ 链接：https://pan.baidu.com/s/1Z6-ZG7JUvkLcwabJtGYy7A 提取码：1234 将拷贝过来的zookeeper压缩包解压到指定目录（我 阅读全文
摘要：
概述 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadood下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的I/O压 阅读全文
摘要：
引言 首先先明白在关系型数据库中Join的用法。 Join在MapReduce中的用法也是用于两个文件之间的连接。 使用MR程序解决两张表的join问题，有两种解决方案 à MR程序的join应用 1. reduce端join 在map端将数据封装成Java对象 à 两张表的复合Java对象 在re 阅读全文
摘要：
OutputFormat概述 OutputFormat主要是用来指定MR程序的最终的输出数据格式 。 默认使用的是TextOutputFormat，默认是将数据一行写一条数据，并且把数据放到指定的输出目录下，以 part-r-xxxxx数字开头。并且默认情况下有几个ReduceTask就有几个结果文 阅读全文
摘要：
MapTask工作机制 并行度决定机制 1）问题引出 maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度。那么，mapTask并行任务是否越多越好呢？ 2）MapTask并行度决定机制 一个job的map阶段MapTask并行度（个数），由客户端提交job时的切片个 阅读全文
摘要：
Shuffle机制 Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程（Map方法之后，Reduce方法之前的数据处理过程）称之为Shuffle。 partition分区 Partition分区流程处于Mapper数据属于初到环形缓冲区时进行，此时会将通过Partiti 阅读全文