2014年4月23日
eclipse运行wordcount
摘要： 使用eclipse连接hadoop失败情况Mar 16, 2014 4:13:32 PM org.apache.hadoop.ipc.Client$Connection handleConnectionFailureINFO:Retrying connect to server: vincent/1... 阅读全文
posted @ 2014-04-23 13:10 baoendemao 阅读(212) 评论(0) 推荐(0) 编辑
MapReduce工作原理图文详解
摘要： 1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图：流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。这... 阅读全文
posted @ 2014-04-23 10:54 baoendemao 阅读(224) 评论(0) 推荐(0) 编辑
2014年4月22日
第一个WordCount类运行
摘要： import java.io.IOException;import java.util.*;import org.apache.hadoop.fs.Path;import org.apache.hadoop.conf.*;import org.apache.hadoop.io.*;import or... 阅读全文
posted @ 2014-04-22 21:26 baoendemao 阅读(291) 评论(0) 推荐(0) 编辑
hadoop打jar包
摘要： 编译： javac-classpath hadoop的路径下面/hadoop-0.20.0-core.jar -d .class文件存放的路径 XXXX.java打成jar包： jar-cvf 要生成的Jar包的名字.jar *.* （这个命令是把当前文件下所有的class文件都打如jar包里面去）... 阅读全文
posted @ 2014-04-22 21:15 baoendemao 阅读(644) 评论(0) 推荐(0) 编辑
数据集
摘要： (1) Last.fm数据集。Last.fm是一个音乐社会网络站点,该站点允许用户创建用户概貌,并且在用户收听音乐节目的过程中不断地被丰富,这些节目可能来自于站点本身,也可能来自于用户个人收集的本地音乐集。(2) Bibsonomy数据集。Bibsonomy是由Kassel大学中知识和数据工程组研究... 阅读全文
posted @ 2014-04-22 13:53 baoendemao 阅读(810) 评论(0) 推荐(0) 编辑
张量分解
摘要： 典型张量分解方法有 Tucker分解 和 标准分解,又称平行因子分解(ParaFac)。LOTD低阶张量分解HOSVD高阶张量分解 阅读全文
posted @ 2014-04-22 13:48 baoendemao 阅读(881) 评论(0) 推荐(0) 编辑
TF-IDF（term frequency–inverse document frequency）
摘要： TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。在一份给定的文件里，词... 阅读全文
posted @ 2014-04-22 13:28 baoendemao 阅读(699) 评论(0) 推荐(0) 编辑
HOSVD高阶奇异值分解
摘要： 高阶奇异值分解(High Order Singular Value Decomposition, HOSVD)奇异值分解SVD（Singular Value Decomposition）是线性代数中一种重要的矩阵分解。奇异值|A|=0奇异值分解法是线性代数和矩阵论中一种重要的矩阵分解法，在信号处理... 阅读全文
posted @ 2014-04-22 11:32 baoendemao 阅读(5200) 评论(0) 推荐(1) 编辑
2014年4月21日
配置mahout
摘要： 构建Mahout要求系统事先安装1）JDK 1.6 或更高版本 2）Maven 2.0.9 或 2.0.10 Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop。Hadoop的安装网上很多，并不复杂，这里不再讲述，接下来阐述怎么安装Mahout。1：下载二进制解压安... 阅读全文
posted @ 2014-04-21 21:47 baoendemao 阅读(157) 评论(0) 推荐(0) 编辑
ubuntu下安装maven
摘要： 1.首先到Maven官网下载安装文件，下载文件为apache-maven-3.1.1-bin.tar.gz2.进入下载文件夹，找到下载的文件，运行如下命令解压tar-xvfapache-maven-2.2.1-bin.tar.gz解压后的文件夹名为maven3.使用mv命令将apache-maven... 阅读全文
posted @ 2014-04-21 21:44 baoendemao 阅读(387) 评论(0) 推荐(0) 编辑