摘要：
1 package com.mengyao.hadoop.mapreduce; 2 3 import java.io.DataInput; 4 import java.io.DataOutput; 5 import java.io.IOException; 6 import java... 阅读全文
摘要：
1 package com.mengyao.hadoop.mapreduce; 2 3 import java.io.IOException; 4 5 import org.apache.hadoop.conf.Configuration; 6 import org.apache.... 阅读全文
摘要：
如图： 1、客户端提交MapReduce Job到YARN ResourceManager获取新的作业ID。 2、YARN ResourceManager返回给客户端一个应用程序ID，即JobID和存储作业资源的路径。 3、客户端检查作业的输出说明计算输入分片，并将作业的资源即作业Jar包、配置、输... 阅读全文
摘要：
MapReduce执行步骤如下 1、Mapper任务处理 1.1：读取输入文件内容，将每一行解析成key、value对提供给Mapper类的map函数使用，每个键值对调用一次map函数。 1.2：在Mapper类的map函数中使用自定义的业务逻辑，对输入key、value处理并转换成新的... 阅读全文
摘要：
1 SequenceFile可以处理hdfs上大量小文件，它可以作为大量小文件的容器。HDFS和MapReduce是针对大文件优化的，所以通过SequenceFile类型将小文件包装起来可以获得更高效的存储和处理。存储 2 在SequenceFile中的键和值并不一定是Writable类型... 阅读全文
摘要：
1 package com.mengyao.hadoop.hdfs; 2 3 import java.io.IOException; 4 5 import org.apache.hadoop.conf.Configuration; 6 import org.apache.hadoop.fs.P... 阅读全文
摘要：
1 package com.mengyao.hadoop.hdfs; 2 3 import java.io.File; 4 import java.io.IOException; 5 6 import org.apache.commons.io.FileUtils; 7 import org.... 阅读全文
摘要：
NameNode启动后，会在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/本地文件系统下生成in_use.lock文件。该文件存在则为本机已启动NameNode进程。该文件内容是：进程号@主机名。表示已经在本机上启动了某个进程号... 阅读全文
摘要：
Hadoop包含四个主要模块 Hadoop Common：Hadoop提供了常见的实用程序库，用于支持其他Hadoop模块。 Hadoop Distributed File System，即HDFS：Hadoop的分布式文件系统，它提供了高吞吐量访问应用程序使用的数据。 Hadoop MapRedu... 阅读全文
摘要：
拦截器代码如下：package com.mengyao.shops.interceptor;import javax.servlet.http.HttpServletRequest;import javax.servlet.http.HttpServletResponse;import org.sl... 阅读全文