多多蘸酱

摘要： 一.下载 https://zookeeper.apache.org/ 二.本地模式安装 1.安装前准备 （1）安装Jdk （2）拷贝Zookeeper安装包到Linux系统下 （3）解压到指定目录 2.配置修改 （1）将/opt/module/zookeeper-3.4.10/conf这个路径下的z 阅读全文

摘要： 一. Zookeeper工作机制 二.Zookeeper特点 三.Zookeeper数据结构 四.Zookeeper应用场景 统一命名服务 统一配置管理 统一集群管理 服务器动态上下线 软负载均衡 阅读全文

摘要： 1. MapReduce 跑得慢的原因 优化方法 MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。 数据输入 Map阶段 Reduce阶段 I/O传输 数据倾斜 数据倾斜现象 减小数据倾斜的方法 常用的调优参数 资源相关 阅读全文

摘要： Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序 1. Yarn工作机制 机制详解 第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce 阅读全文

摘要： 1.压缩概述 2.压缩策略和原则 3.MapReduce支持的压缩编码 64位系统下的单核i7,Snappy的压缩速率可以达到至少250MB/S,解压缩速率可以达到至少500MB/S 4.压缩方式选择 1) Gzip 2) Bzip2 3) Lzo 4) Snappy 4. 压缩位置选择 压缩可以在 阅读全文

摘要： 有一个诸如这样的log日志 去除长度不合法,并且状态码不正确的记录 LogBean Mapper类 Driver 结果 阅读全文