摘要：
此博客主要实现通过github创建个人定制的博客的功能，主要参考如下两篇文章，再次感谢。 【说明】：使用本文的正确方式是参考上述两篇文档，遇到问题时到这里找解决办法。 本文通过自己亲自实践可行，过程中遇到了一些问题，下文融合了两篇文章，也提供了自己遇到的问题的解决办法，建议大家主要参考上述两篇文章， 阅读全文
摘要：
将博客搬至CSDN,博客园和CSDN实行基本同步 阅读全文
摘要：
问题描述： 感觉问题解决了回过头来想就很简单，但是没解决就怎么也找不到问题，知识储备捉襟见肘。针对这个问题我好长时间才弄好，各种找资料，也证明本人筛选有用博客的能力比较低，先让我哭会去…… 在虚拟的实验，特别是分布式集群环境中，我们需要配置静态IP地址，我们又想上网，往往我们是二者不可兼得，但是这个 阅读全文
摘要：
一、分析运行wordcount程序屏幕上打印信息 ##运行wordcount单词频率统计程序，基于输出输出路径。 [hadoop@hadoop-master hadoop-1.2.1]$ hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/minin 阅读全文
摘要：
模板类编写好后写MapReduce程序，的模板类编写好以后只需要改参数就行了，代码如下： 模板使用步骤： 1） 改名称（MapReduce类的名称、Mapper类的名称、Reducer类的名称） 2） 依据实际的业务逻辑修改Mapper类和Reducer类的Key/Value输入输出参数的类型 3） 阅读全文
摘要：
读取输入文件中的内容，输出到指定目录的输出文件中，此时文件中的内容为： Key 输入文件每行内容的起始位置。 Value 输入文件每行的原始内容。 输出文件中的内容就是：key+\t+value. 主要在这个类中： 导包： 真正的代码： 阅读全文
摘要：
思路：对每一个列的值依次进行比较，保存最大的值进行输出，算法的思想类似于排序算法（快速和冒泡排序）。 Mapper：因为只是在wordcount统计的基础上统计的，只是针对一个列，故可以找到最大值后，将最大值和对应的text给，cleanup中的context.write（）方法，然后输出。此时不需 阅读全文
摘要：
1） MapReduce中的基类Mapper类，自定义Mapper类的父类。 2） MapReduce中的基类Reducer类，自定义Reducer类的父类。 API文档 1） InputSplit输入分片，InputFormat输入格式化 2） 对Mapper输出结果进行Sorted排序和Grou 阅读全文
摘要：
1） 分析业务需求：用户使用手机上网，存在流量的消耗。流量包括两部分：其一是上行流量（发送消息流量），其二是下行流量（接收消息的流量）。每种流量在网络传输过程中，有两种形式说明：包的大小，流量的大小。使用手机上网，以手机号为唯一标识符，进行记录。有记录，包括很多信息，需要的信息字段。 实际需要的字段 阅读全文
摘要：
1、 在hadoop中所有的key/value都必须实现Writable接口，有两个方法，分别用于读（反序列化）和写（序列化）操作。 参考代码： 2、所有的key必须实现Comparable接口，在MapReduce过程中需要对Key/Value对进行反复的排序。默认情况下依据Key进行排序的， 阅读全文