baoendemao

2014年5月18日

摘要：今天在写MapReduce中的reduce函数时，碰到个问题，特此记录一下：voidreduce(key,Iterablevalues,...){for(*v:values){//做第一遍遍历}for(*v:values){//做第二遍遍历}}以上代码本以为可以直接通过，但是问题却出现了，就是在第二... 阅读全文

posted @ 2014-05-18 17:00 baoendemao 阅读(344) 评论(0) 推荐(0) 编辑

多输入路径

摘要：目前为止知道MapReduce有三种路径输入方式。1、第一种是通过一下方式输入：FileInputFormat.addInputPath(job, new Path(args[0]));FileInputFormat.addInputPath(job, new Path(args[1]));File... 阅读全文

posted @ 2014-05-18 14:35 baoendemao 阅读(179) 评论(0) 推荐(0) 编辑

2014年5月17日

组合模式

摘要： Composite模式定义：将对象以树形结构组织起来,以达成“部分－整体” 的层次结构，使得客户端对单个对象和组合对象的使用具有一致性.Composite模式理解：想到Composite就应该想到树形结构图。组合体内这些对象都有共同接口,当组合体一个对象的方法被调用执行时，Composite将遍... 阅读全文

posted @ 2014-05-17 22:00 baoendemao 阅读(116) 评论(0) 推荐(0) 编辑

数据去重

摘要： 1、数据去重"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述对数据文件中的数据进行去重。数据文件中的每行都是一个数据。样例输入... 阅读全文

posted @ 2014-05-17 12:51 baoendemao 阅读(598) 评论(0) 推荐(0) 编辑

combiner

摘要：在某些情况下,允许中间结果key重复会占据相当的比重,并且用户定义的reduce函数满足结合律和交换律.一个很好的例子就是在2.1部分的词统计程序.因为词频率倾向于一个zipf分布(齐夫分布),每个map任务将产生成百上千个这样的记录.所有的这些计数将通过网络被传输到一个单独的reduce任务,然... 阅读全文

posted @ 2014-05-17 09:35 baoendemao 阅读(257) 评论(0) 推荐(0) 编辑

2014年5月16日

合并文档

摘要：资源文件file1hadooptesthelloword资源文件file2happybirthdaythisisatest最终的结果hadooptesthellowordhappybirthdaythisisatest分析：将两个文件合并成一个文件，是一个很简单的案例。设想我们可以将value设为空... 阅读全文

posted @ 2014-05-16 18:46 baoendemao 阅读(248) 评论(0) 推荐(0) 编辑

2014年5月15日

对象锁区别类锁

摘要：线程获得对象锁或者类锁------>>>同步==============================================================对象锁当一个对象中有synchronized method或synchronized block的时候调用此对象的同步方法或进入其同... 阅读全文

posted @ 2014-05-15 10:59 baoendemao 阅读(2379) 评论(0) 推荐(1) 编辑

一个简单的死锁示例

摘要： package cn.com.io.threadDemo.ThreadSyn;/*** 通过两个属性值创建死锁* 本程序通过两个线程各自锁定一个属性值，这样两个线程都无法结束，造成死锁*/public class ThreadSyn2 implements Runnable{private stat... 阅读全文

posted @ 2014-05-15 10:38 baoendemao 阅读(193) 评论(0) 推荐(0) 编辑

线程安全的单例模式

摘要： 1. 全局变量的缺点：必须在程序一开始就创建好对象，如果程序在这次的执行过程中又一直没用到它，就非常耗费资源。2.经典的单例模式实现：Java代码publicclassSingleton{ //用一个静态变量来记录Singleton类的唯一实例privatestaticSingletonuniqu... 阅读全文

posted @ 2014-05-15 10:13 baoendemao 阅读(131) 评论(0) 推荐(0) 编辑

线程安全与不安全（误解）

摘要： Count.java：[java]view plaincopypublicclassCount{privateintnum;publicvoidcount(){for(inti=1;i<=10;i++){num+=i;}System.out.println(Thread.currentThread(... 阅读全文

posted @ 2014-05-15 10:01 baoendemao 阅读(342) 评论(0) 推荐(0) 编辑

公告