2015 年 11月随笔档案 - IT小不点

expected: file:///

摘要：[java] java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.190.128:9000/user/hadoop/output/probability/ALB-m-00000, expected: file:///一般是获取fi... 阅读全文

posted @ 2015-11-27 11:49 IT小不点阅读(777) 评论(0) 推荐(0) 编辑

Hadoop 文本分类终于跑通了

摘要：Training 入口 package org.wordCount; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.h 阅读全文

posted @ 2015-11-14 15:07 IT小不点阅读(1086) 评论(0) 推荐(0) 编辑

ERROR security.UserGroupInformation

摘要：[java] 15/11/14 12:58:19 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same. ... 阅读全文

posted @ 2015-11-14 12:53 IT小不点阅读(511) 评论(0) 推荐(0) 编辑

(转)Eclipse中使用Ant

摘要：Eclipse中使用Ant分类：JAVA工具服务器2014-08-05 09:595507人阅读评论(0)收藏举报anteclipsehttp://286.iteye.com/blog/1909223Eclipse中已经集成了Ant，我们可以直接在Eclipse中运行Ant，这里我要做的不是直接运行... 阅读全文

posted @ 2015-11-12 19:09 IT小不点阅读(502) 评论(0) 推荐(0) 编辑

java中判断一个字符串是否“都为数字”和“是否包含数字”和“截取数字”

摘要：java中判断一个字符串是否“都为数字”和“是否包含数字”和“截取数字”原文地址：http://ahomeeye.iteye.com/blog/842922http://cherryqq.iteye.com/blog/406355在javascript中有一个方法isDigit()使用来判断一个字符... 阅读全文

posted @ 2015-11-07 21:09 IT小不点阅读(727) 评论(0) 推荐(0) 编辑

(转)java判断string变量是否是数字的六种方法小结

摘要：java判断string变量是否是数字的六种方法小结(2012-10-17 17:00:17)转载▼标签：it分类：转发1.用JAVA自带的函数public static boolean isNumeric(String str){for (int i = 0; i =0;){int chr=str... 阅读全文

posted @ 2015-11-07 20:34 IT小不点阅读(1347) 评论(0) 推荐(0) 编辑

一个combineInputformat

摘要：markimport java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.commons.logging.Log;import org.apache.commons.logg... 阅读全文

posted @ 2015-11-07 19:42 IT小不点阅读(222) 评论(0) 推荐(0) 编辑

MapReduce初级案例

摘要：1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述对数据文件中的数据进行去重。数据文件中的每行都是一个数据。... 阅读全文

posted @ 2015-11-07 13:07 IT小不点阅读(569) 评论(0) 推荐(0) 编辑

一个mapreduce得到需要计算单词概率的基础数据

摘要：第一步，先计算需要计算概率的词频，单词种类数，类别单词总数（类别均是按照文件夹名区分）（基础数据以及分词了，每个单词一行，以及预处理好）package org.lukey.hadoop.classifyBayes;import java.io.IOException;import java.net.... 阅读全文

posted @ 2015-11-07 11:39 IT小不点阅读(499) 评论(0) 推荐(0) 编辑

简单实现CombineFileInputFormat

摘要：import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.a... 阅读全文

posted @ 2015-11-06 22:24 IT小不点阅读(211) 评论(0) 推荐(0) 编辑

(转)个例子让你了解Java反射机制

摘要：个例子让你了解Java反射机制原文地址：http://blog.csdn.net/ljphhj/article/details/12858767JAVA反射机制：通俗地说,反射机制就是可以把一个类,类的成员(函数,属性),当成一个对象来操作,希望读者能理解,也就是说,类,类的成员,我们在运行的时候还... 阅读全文

posted @ 2015-11-06 22:23 IT小不点阅读(191) 评论(0) 推荐(0) 编辑

成功计算出文本类单词的概率

摘要：首先是wordcountpackage org.lukey.hadoop.classifyBayes;import java.io.IOException;import java.util.ArrayList;import java.util.HashMap;import java.util.Lis... 阅读全文

posted @ 2015-11-06 19:34 IT小不点阅读(368) 评论(0) 推荐(0) 编辑

(转)Hadoop之常见错误集锦

摘要：Hadoop之常见错误集锦下文中没有特殊说明，环境都是CentOS下Hadoop 2.2.0。1、伪分布模式下执行start-dfs.sh脚本启动HDFS时出现如下错误： vi打开libexec/hadoop-config.sh中，查找JAVA_HOME is not set and coul... 阅读全文

posted @ 2015-11-06 14:15 IT小不点阅读(371) 评论(0) 推荐(0) 编辑

map map

摘要：下面的无法运行。@Override protected void map(LongWritable key, Text value, Mapper.Context context) throws IOExcep... 阅读全文

posted @ 2015-11-06 10:12 IT小不点阅读(399) 评论(0) 推荐(0) 编辑

(转)hadoop三个配置文件的参数含义说明

摘要：hadoop三个配置文件的参数含义说明1获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同... 阅读全文

posted @ 2015-11-06 09:55 IT小不点阅读(282) 评论(0) 推荐(0) 编辑

（转）如何向map和reduce脚本传递参数

摘要：[MapReduce] 如何向map和reduce脚本传递参数,加载文件和目录分类：hadoop2014-04-28 21:301553人阅读评论(0)收藏举报hadoop本文主要讲解三个问题： 1 使用Java编写MapReduce程序时，如何向map、reduce函数传递参数。 2 使用... 阅读全文

posted @ 2015-11-05 22:25 IT小不点阅读(737) 评论(0) 推荐(0) 编辑

mutilple output reduce cannot write

摘要：package org.lukey.hadoop.classifyBayes;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.URI;i... 阅读全文

posted @ 2015-11-05 17:16 IT小不点阅读(243) 评论(0) 推荐(0) 编辑

[Java]读取文件方法大全（转）

摘要：[Java]读取文件方法大全1、按字节读取文件内容2、按字符读取文件内容3、按行读取文件内容4、随机读取文件内容publicclassReadFromFile{/***以字节为单位读取文件，常用于读二进制文件，如图片、声音、影像等文件。*/publicstaticvoidreadFileByByte... 阅读全文

posted @ 2015-11-05 17:16 IT小不点阅读(208) 评论(0) 推荐(0) 编辑

（转)Hadoop的InputFormats和OutputFormats

摘要：Data MiningHadoop的InputFormats和OutputFormatsInputFormatInputFormat类用来产生InputSplit，并把它切分成record。public interface InputFormat { InputSplit[] getS... 阅读全文

posted @ 2015-11-03 13:02 IT小不点阅读(221) 评论(0) 推荐(0) 编辑

（转）通过input分片的大小来设置map的个数

摘要：摘要通过input分片的大小来设置map的个数mapinputsplithadoop前言：在具体执行Hadoop程序的时候，我们要根据不同的情况来设置Map的个数。除了设置固定的每个节点上可运行的最大map个数外，我们还需要控制真正执行Map操作的任务个数。1.如何控制实际运行的map任务个数我们知... 阅读全文

posted @ 2015-11-02 22:02 IT小不点阅读(486) 评论(0) 推荐(0) 编辑

hadoop1.2.1 MultipleOutputs将结果输出到多个文件或文件夹

摘要：hadoop1.2.1 MultipleOutputs将结果输出到多个文件或文件夹博客分类：http://tydldd.iteye.com/blog/2053867hadoophadoop1.2.1中使用MultipleOutputs将结果输出到多个文件或文件夹使用步骤主要有三步：1、在reduce... 阅读全文

posted @ 2015-11-02 21:59 IT小不点阅读(583) 评论(0) 推荐(0) 编辑

（转）在Java中如何遍历Map对象

摘要：在Java中如何遍历Map对象How to Iterate Over a Map in Java在java中遍历Map有不少的方法。我们看一下最常用的方法及其优缺点。既然java中的所有map都实现了Map接口，以下方法适用于任何map实现（HashMap, TreeMap, LinkedHashM... 阅读全文

posted @ 2015-11-02 16:16 IT小不点阅读(197) 评论(0) 推荐(0) 编辑

multipleOutputs Hadoop

摘要：package org.lukey.hadoop.muloutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;impor... 阅读全文

posted @ 2015-11-01 23:09 IT小不点阅读(261) 评论(0) 推荐(0) 编辑

（转） hadoop 一个Job多个MAP与REDUCE的执行

摘要：http://blog.csdn.net/chaoping315/article/details/6221440在hadoop 中一个Job中可以按顺序运行多个mapper对数据进行前期的处理，再进行reduce，经reduce后的结果可经个经多个按顺序执行的mapper进行后期的处理，这样的Job... 阅读全文

posted @ 2015-11-01 23:06 IT小不点阅读(342) 评论(0) 推荐(0) 编辑

（转）Hadoop MapReduce链式实践--ChainReducer

摘要：版本：CDH5.0.0，HDFS：2.3.0，Mapreduce:2.3.0,Yarn:2.3.0。场景描述：求一组数据中按照不同类别的最大值，比如，如下的数据：data1:[plain]view plaincopyA,10A,11A,12A,13B,21B,31B,41B,51data2:[pla... 阅读全文

posted @ 2015-11-01 20:46 IT小不点阅读(291) 评论(0) 推荐(0) 编辑

（转）Permission denied: win7下面eclipse上传本地文件到DFS && 运行M/R程序时出现的同样的错误解决方法

摘要：原文地址：http://mntms.iteye.com/blog/2095651hadoopeclipse远程控制权限情景一：当在win7下面的eclipse装好插件，首次运行M/R程序的时候，想把文件从win7下面的本地文件传到HDFS文件系统上面：（点击Upload files to DFS 或... 阅读全文

posted @ 2015-11-01 17:42 IT小不点阅读(378) 评论(0) 推荐(0) 编辑

（转）多个MapReduce作业相互依赖时，使用JobControl进行管理

摘要：原文地址：http://mntms.iteye.com/blog/2086990要处理复杂关系的数据，一个工程里面绝对不止一个MapReduce作业，当有多个MapReduce作业时，并且每个作业之间有依赖关系，所谓的依赖就是一个作业得到的结果是另外一个作业的输入，这个时候我们可以使用... 阅读全文

posted @ 2015-11-01 17:37 IT小不点阅读(752) 评论(0) 推荐(0) 编辑

（转）多个mapreduce工作相互依赖处理方法完整实例（JobControl）

摘要：多个mapreduce工作相互依赖处理方法完整实例（JobControl）原文地址：http://mntms.iteye.com/blog/2096456?utm_source=tuicool&utm_medium=referral 处理复杂的要求的时候，有时一个mapreduce程序时完成不了的阅读全文

posted @ 2015-11-01 17:34 IT小不点阅读(530) 评论(0) 推荐(0) 编辑

（转）MultipleOutputFormat和MultipleOutputs

摘要：MultipleOutputFormat和MultipleOutputshttp://www.cnblogs.com/liangzh/archive/2012/05/22/2512264.html一，介绍1，旧API中有 org.apache.hadoop.mapred.lib.MultipleOu... 阅读全文

posted @ 2015-11-01 11:54 IT小不点阅读(289) 评论(0) 推荐(0) 编辑

map遍历的四种方式

摘要：原文 http://blog.csdn.net/dayanxuqun/article/details/26348277 以下是map遍历的四种方式： [java] view plaincopyprint? // 一、推荐只用value的时候用，都懂的。。。 // Map.values()遍历所有的v 阅读全文

posted @ 2015-11-01 11:52 IT小不点阅读(462) 评论(0) 推荐(0) 编辑