摘要：
1.迭代式mapreduce一些复杂的任务难以用一次mapreduce处理完成，需要多次mapreduce才能完成任务，例如Pagrank，Kmeans算法都需要多次的迭代，关于mapreduce迭代在mahout中运用较多。有兴趣的可以参考一下mahout的源码。在map/reduce迭代过程中，... 阅读全文
摘要：
类名PearsonCorrelationSimilarity名称：皮尔逊相关系数（Pearson Correlation Coefficient）皮尔逊相关系数一般用于计算两个定距变量间联系的紧密程度，它的取值在 [-1，+1] 之间。公式sx,sy是x和y的样品标准偏差。原理：用来反映两个变量线性... 阅读全文
摘要：
在Mahout中，用户的喜好被抽象为一个Preference，包含了userId，itemId和偏好值（user对item的偏好）。Preference是一个接口，它有一个通用的实现是GenericPreference。因为用户的喜好数据是大规模的，我们通常会选择把它放入集合或者数组。同时，由于Ja... 阅读全文
摘要：
Mahout下载与安装1、下载Mahout。到地址[1]可以找到镜像地址。我们下载Mahout 0.5。请将mahout-distribution-0.5.tar.gz和mahout-distribution-0.5-src.zip都下载下来，前者是正式软件，后者是源文件，用于导入eclipse以便... 阅读全文
摘要：
1.代理模式（Proxy）代理模式的作用是：为其他对象提供一种代理以控制对这个对象的访问。在某些情况下，一个客户不想或者不能直接引用另一个对象，而代理对象可以在客户端和目标对象之间起到中介的作用。代理模式一般涉及到的角色有3个：抽象角色：声明真实对象和代理对象的共同接口；代理角色：代理对象角色内部含... 阅读全文
摘要：
1.什么是IO Java中I/O操作主要是指使用Java进行输入，输出操作.Java所有的I/O机制都是基于数据流进行输入输出，这些数据流表示了字符或者字节数据的流动序列。Java的I/O流提供了读写数据的标准方法。任何Java中表示数据源的对象都会提供以数据流的方式读写它的数据的方法。 Ja... 阅读全文
摘要：
hadoop中，组件配置是由Hadoop的Configuration的一个实例实现。（在源码包的org.apache.hadoop.conf中可以找到）先上个类图：这只是部分的，Configuraation涉及的方法很多，不一一例举了。在这里面我们看到的是整个hadoop的核心包的conf pack... 阅读全文
摘要：
迭代器是一种模式，它可以使得对于序列类型的数据结构的遍历行为与被遍历的对象分离，即我们无需关心该序列的底层结构是什么样子的。只要拿到这个对象,使用迭代器就可以遍历这个对象的内部.1.Iterator Java提供一个专门的迭代器>Iterator，我们可以对某个序列实现该interface，来提供标... 阅读全文
摘要：
Context在Java中的出现是如此频繁，但其中文翻译“上下文”又是如此诡异拗口，因此导致很多人不是很了解Context的具体含义是指什么，所以很有必要来深究一下这词的含义。先来举几个JAVA中用到Context的例子（1）JNDI的一个类javax.naming.InitialContext，它... 阅读全文
摘要：
启动与关闭启动Hadoop1. 进入HADOOP_HOME目录。2. 执行sh bin/start-all.sh关闭Hadoop1. 进入HADOOP_HOME目录。2. 执行sh bin/stop-all.sh文件操作Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通... 阅读全文