摘要: 正则表达式 写一个功能实现QQ号码的校验。import java.util.Scanner;public class RegexDemo01 { public static void main(String[] args) { Scanner sc = new Scanner(... 阅读全文
posted @ 2015-12-05 18:31 我是一名老菜鸟 阅读(8093) 评论(0) 推荐(0) 编辑
摘要: MapReduce确保每个reducer的输入都按键排序。系统执行排序的过程——将map输出作为输入传给reducer——称为shuffle。shuffle属于不断被优化和改进的代码库的一部分,从许多方面来看,shuffle是MapReduce的“心脏”,是奇迹发生的地方。事实上,shuffle... 阅读全文
posted @ 2015-12-05 11:19 我是一名老菜鸟 阅读(4246) 评论(0) 推荐(0) 编辑
摘要: 包含四个独立的实体:· Client Node客户端:编写MapReduce代码,配置作业,提交MapReduce作业。· JobTracker:初始化作业,分配作业,与TaskTracker通信,协调整个作业的运行。jobtracker是一个Java应用程序,它的主类是JobTracker。· T... 阅读全文
posted @ 2015-12-05 11:15 我是一名老菜鸟 阅读(1046) 评论(0) 推荐(0) 编辑
摘要: 1、项目名称:2、程序代码:版本一(详细版):package com.mtjoin;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.conf.Configuration;import org.... 阅读全文
posted @ 2015-12-05 11:02 我是一名老菜鸟 阅读(455) 评论(0) 推荐(0) 编辑
摘要: 1、项目名称:2、项目数据:chile parentTom LucyTom JackJone LucyJone JackLucy MaryLucy BenJack AliceJack JesseTerry AliceTerry JessePhilip TerryPhilip AlimaMark Te... 阅读全文
posted @ 2015-12-05 10:58 我是一名老菜鸟 阅读(717) 评论(0) 推荐(0) 编辑
摘要: 1、项目名称:2、程序代码:package com.sort;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apac... 阅读全文
posted @ 2015-12-05 10:54 我是一名老菜鸟 阅读(394) 评论(0) 推荐(0) 编辑
摘要: 1、项目名称:2、程序代码:package com.dedup;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apa... 阅读全文
posted @ 2015-12-05 10:52 我是一名老菜鸟 阅读(438) 评论(0) 推荐(0) 编辑
摘要: 1、项目名称:2、程序代码:package com.averagescorecount;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.ha... 阅读全文
posted @ 2015-12-05 10:48 我是一名老菜鸟 阅读(1896) 评论(0) 推荐(0) 编辑
摘要: 1、代码:package com.mrdemo;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hado... 阅读全文
posted @ 2015-12-05 10:44 我是一名老菜鸟 阅读(274) 评论(0) 推荐(0) 编辑
摘要: 1、新建MR工程依次点击 File → New → Ohter…选择 “Map/Reduce Project”,然后输入项目名称:mrdemo,创建新项目:2、(这步在以后的开发中可能会用到,但是现在不用,现在直接新建一个class文件即可)创建Mapper和Reducer依次点击 File → N... 阅读全文
posted @ 2015-12-05 10:34 我是一名老菜鸟 阅读(1054) 评论(0) 推荐(0) 编辑
摘要: 将Hadoop源码导入Eclipse有个最大好处就是通过 "ctrl + shift + r" 可以快速打开Hadoop源码文件。第一步:在Eclipse新建一个Java项目,hadoop-1.0.3第二步:将Hadoop程序src下core, hdfs, mapred, tools几个目录copy... 阅读全文
posted @ 2015-12-05 10:29 我是一名老菜鸟 阅读(2473) 评论(0) 推荐(0) 编辑
摘要: [一]、环境参数eclipse-java-kepler-SR2-linux-gtk-x86_64.tar.gz //现在改为eclipse-jee-kepler-SR2-linux-gtk-x86_64.tar.gzHadoop1.0.3Java 1.8.0Ubuntu 12.04 64bit[二]... 阅读全文
posted @ 2015-12-05 10:26 我是一名老菜鸟 阅读(338) 评论(0) 推荐(0) 编辑
摘要: 1.下载Eclipse从http://www.eclipse.org/downloads/index-developer.php下载合适版本,如:Eclipse IDE for C/C++ Developers这里要注意的是,开始的时候我下载的是eclipse-java-kepler-SR2-lin... 阅读全文
posted @ 2015-12-05 10:21 我是一名老菜鸟 阅读(746) 评论(0) 推荐(0) 编辑
摘要: 安装步骤如下:1)下载hadoop:hadoop-1.0.3http://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/2)解压文件: 我是把hadoop-1.0.3.tar.gz文件复制到/home/hadoop目录下,然后直接就解压,它会自动生... 阅读全文
posted @ 2015-12-05 10:19 我是一名老菜鸟 阅读(294) 评论(0) 推荐(0) 编辑
摘要: 安装步骤如下:1)下载 JDK 8 从http://www.oracle.com/technetwork/java/javasebusiness/downloads/ 选择下载JDK的最新版本 JDK 8。 我选择的是:jdk-8u5-linux-x64.tar.gz这个版本的JDK不需要安装,... 阅读全文
posted @ 2015-12-05 10:15 我是一名老菜鸟 阅读(2997) 评论(0) 推荐(0) 编辑
摘要: 配置ssh免密码登录1) 验证是否安装ssh:ssh -version显示如下的话则成功安装了OpenSSH_6.2p2 Ubuntu-6ubuntu0.1, OpenSSL 1.0.1e 11 Feb 2013Bad escape character 'rsion'.否则安装ssh:sudo ap... 阅读全文
posted @ 2015-12-05 10:13 我是一名老菜鸟 阅读(5667) 评论(0) 推荐(0) 编辑