public static void main(String[] args) { Map<String, String> map = new HashMap<String, String>(); map.put("1", "value1"); map.put("2", "value2"); map. Read More
配置完成zookeeper集群，发现有一个节点，进程正常但是状态异常 查看日志一开始进入歧途了，查看的是这个目录 其实应该查看这个目录的日志 失败日志： 很明显，没有权限，更改权限，启动成功 后发现zookeeper.out 目录会随意改变非常不方便，后面把它固定在一个目录了，方法如下： 一、导出Z Read More
HDFS： 基础架构 1、NameNode（Master） 1)命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。 2)块存储管理。 使用Active NameNode，Standby NameNode 两个节点可以解决单点问题，两个节 Read More
CDH 数据库 磁盘坏了 所有集群配置 都没了 而且 还没备份 .... 元数据 还在 cdh 软件配置 和 安装软件 不能用了 下载 apache hadoop 重新配置 namenode datenode journode 加载以前的数据 读出来了 .. 强制了 namenode 主 把数据迁移 Read More
MapReduce中数据流动 （1）最简单的过程： map - reduce （2）定制了partitioner以将map的结果送往指定reducer的过程： map - partition - reduce （3）增加了在本地先进性一次reduce（优化）过程： map - combin(本地re Read More
默认情况下，Map 输出的结果会对 Key 进行默认的排序，但是有时候需要对 Key 排序的同时再对 Value 进行排序，这时候就要用到二次排序了。下面让我们来介绍一下什么是二次排序。 二次排序原理 我们把二次排序主要分为以下几个阶段。 Map 起始阶段 在Map阶段，使用 job.setInpu Read More
matadata： 自定义分组 结果 然后看下默认分组 结果 通过对比，自定义分组就很容易理解了 Read More
具体情况比较曲折：hadoop2.6.0编译不过 错误如下： 这个kms模块始终编译不过，最后得出结论国内的aliyun maven仓库有问题， 在编译hadoop2.2.0 可以通过，因为这个版本的hadoop没有kms这个模块， 要想编译2.6.0的hadoop 必须使用国外的maven地址。 Read More
换了个环境，出现此异常 016-10-18 23:54:01,334 WARN [org.apache.hadoop.util.NativeCodeLoader] - Unable to load native-hadoop library for your platform... using bu Read More
转自：https://my.oschina.net/zhanglikun/blog/124645 Read More