IT小不点 - 博客园

2015年11月7日

摘要： markimport java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.commons.logging.Log;import org.apache.commons.logg... 阅读全文

posted @ 2015-11-07 19:42 IT小不点阅读(221) 评论(0) 推荐(0) 编辑

MapReduce初级案例

摘要： 1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述对数据文件中的数据进行去重。数据文件中的每行都是一个数据。... 阅读全文

posted @ 2015-11-07 13:07 IT小不点阅读(568) 评论(0) 推荐(0) 编辑

一个mapreduce得到需要计算单词概率的基础数据

摘要：第一步，先计算需要计算概率的词频，单词种类数，类别单词总数（类别均是按照文件夹名区分）（基础数据以及分词了，每个单词一行，以及预处理好）package org.lukey.hadoop.classifyBayes;import java.io.IOException;import java.net.... 阅读全文

posted @ 2015-11-07 11:39 IT小不点阅读(497) 评论(0) 推荐(0) 编辑

2015年11月6日

简单实现CombineFileInputFormat

摘要： import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.a... 阅读全文

posted @ 2015-11-06 22:24 IT小不点阅读(211) 评论(0) 推荐(0) 编辑

(转)个例子让你了解Java反射机制

摘要：个例子让你了解Java反射机制原文地址：http://blog.csdn.net/ljphhj/article/details/12858767JAVA反射机制：通俗地说,反射机制就是可以把一个类,类的成员(函数,属性),当成一个对象来操作,希望读者能理解,也就是说,类,类的成员,我们在运行的时候还... 阅读全文

posted @ 2015-11-06 22:23 IT小不点阅读(191) 评论(0) 推荐(0) 编辑

成功计算出文本类单词的概率

摘要：首先是wordcountpackage org.lukey.hadoop.classifyBayes;import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.Lis... 阅读全文

posted @ 2015-11-06 19:34 IT小不点阅读(365) 评论(0) 推荐(0) 编辑

(转)Hadoop之常见错误集锦

摘要： Hadoop之常见错误集锦下文中没有特殊说明，环境都是CentOS下Hadoop 2.2.0。1、伪分布模式下执行start-dfs.sh脚本启动HDFS时出现如下错误： vi打开libexec/hadoop-config.sh中，查找JAVA_HOME is not set and coul... 阅读全文

posted @ 2015-11-06 14:15 IT小不点阅读(365) 评论(0) 推荐(0) 编辑

map map

摘要：下面的无法运行。@Override protected void map(LongWritable key, Text value, Mapper.Context context) throws IOExcep... 阅读全文

posted @ 2015-11-06 10:12 IT小不点阅读(396) 评论(0) 推荐(0) 编辑

(转)hadoop三个配置文件的参数含义说明

摘要： hadoop三个配置文件的参数含义说明1获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同... 阅读全文

posted @ 2015-11-06 09:55 IT小不点阅读(279) 评论(0) 推荐(0) 编辑

2015年11月5日

（转）如何向map和reduce脚本传递参数

摘要： [MapReduce] 如何向map和reduce脚本传递参数,加载文件和目录分类：hadoop2014-04-28 21:301553人阅读评论(0)收藏举报hadoop本文主要讲解三个问题： 1 使用Java编写MapReduce程序时，如何向map、reduce函数传递参数。 2 使用... 阅读全文

posted @ 2015-11-05 22:25 IT小不点阅读(737) 评论(0) 推荐(0) 编辑