随笔分类 - Hadoop Mahout概念学习系列
摘要:Apriori的挑战及改进方案 挑战 多次数据库扫描 巨大数量的候补项集 繁琐的支持度计算 改善Apriori: 基本想法 减少扫描数据库的次数 减少候选项集的数量 简化候选项集的支持度计算 FPGROWTH算法优点 相比Apriori算法需要多次扫描数据库,FPGrowth只需要对数据库扫描2次。
阅读全文
摘要:贝叶斯决策 简单例子引入 先验概率 后验概率 最小错误率决策 最小风险贝叶斯决策 简单的例子 正常情况下,我们可以快速的将街上的人分成男和女两类。这里街上的人就是我们观测到的样本,将每一个人分成男、女两类就是我们做决策的过程。上面的问题就是一个分类问题。 分类可以看作是一种决策,即我们根据观测对样本
阅读全文
摘要:Mahout的推荐系统 什么是推荐系统 为什使用推荐系统 推荐系统中的算法 什么是推荐系统 为什么使用推荐系统? 促进厂商商品销售,帮助用户找到想要的商品 推荐系统无处不在,体现在生活的各个方面 图书推荐;QQ好友推荐;优酷,爱奇艺的视频推荐;豆瓣的音乐推荐;大从点评的餐饮推荐;世纪佳缘的相亲推荐;
阅读全文
摘要:不多说,因最近科研的需要,为此从hadoop和spark领域,得结合机器学习/深度学习。为此,给大家带来进一步的干货! 1、机器学习概念 1.1 机器学习的定义 1.2 机器学习的分类 1.2.1 监督学习 1.2.2 无监督学习 1.2.3 半监督学习 1.2.4 强化学习 1.3 机器学习的常见
阅读全文
摘要:问题详情 在运行mahout中kmeans算法时,采取的是其默认输入路径/user/hadoop/testdata 和 默认输出路径/user/hadoop/output。 当然,你也可以用自定义的输入路径 然后,出现如下问题: 解决办法 说明你的默认输入路径或自定义输入路径下的数据源被损坏或不完全
阅读全文
摘要:继续 http://www.tuicool.com/articles/rmiEz2 http://www.cnblogs.com/jchubby/p/4454888.html
阅读全文
摘要:不多说,直接上干货! Mahout作为Apache基金会的顶级项目之一,Mahout的应用也极其广泛,一般分为商业应用和学术应用。 在商业应用中,Adobe AMP公司使用Mahout的聚类算法把用户区分为不同的圈子,通过精确定位营销来增加客户。Amazon的个人推荐平台也是使用Mahout的算法库
阅读全文
摘要:本博文主要内容有 1、kmeans算法简介 2、kmeans执行过程 3、关于查看mahout中聚类结果的一些注意事项 4、kmeans算法图解 5、mahout的kmeans算法实现原理 6、kmeans算法运行时参数介绍 7、使用mahout自带的fpg算法来对我们的测数据retail.dat进
阅读全文
摘要:mahout算法库 分为三大块 1、聚类算法 2、协同过滤算法(一般用于推荐) 协同过滤算法也可以称为推荐算法!!! 3、分类算法 算法类 算法名 中文名 分类算法 Logistic Regression 逻辑回归 Bayesian 贝叶斯 Support Vector Machines 支持向量机
阅读全文
摘要:http://archive.ics.uci.edu/ml/databases/synthetic_control/ 继续
阅读全文
摘要:不多说,直接上干货! 首先,别在windows下搭建什么,安装什么Cygwin啊!直接在linux,对于企业里推荐用CentOS6.5,在学校里用Ubuntu。 Mahout安装所需软件清单: 软件 版本 说明 操作系统 CentOS6.5 64位 JDK jdk1.7.0_79 Hadoop 2.
阅读全文
摘要:mahout的特性 虽然在开源领域中相对较为年轻,但 Mahout 已经提供了大量功能,特别是在集群和CF 方面。 Mahout 的主要特性包括: Taste CF。Taste 是 Sean Owen 在 SourceForge 上发起的一个针对 CF 的开源项目,并在 2008 年被赠予 Maho
阅读全文
摘要:mahout历史 Apache Mahout起源于2008年,经过两年的发展,2010年4月ApacheMahout最终成为了Apache的顶级项目。Mahout 项目是由 ApacheLucene(开源搜索)社区中对机器学习感兴趣的一些成员发起的,他们希望建立一个可靠、文档翔实、可伸缩的项目,在其
阅读全文
摘要:不多说,直接上干货! http://mahout.apache.org/ Mahout是Apache Software Foundation(ASF)旗下的一个开源项目。 提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。 Mahout包含许多实现,包括聚类
阅读全文
摘要:原博文出自于: http://blog.fens.me/hadoop-mapreduce-recommend/ 感谢! 用Hadoop构建电影推荐系统 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout
阅读全文
摘要:原博文出自于: http://blog.fens.me/hadoop-mahout-recommend-job/ 感谢! 用Mahout构建职位推荐引擎 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahou
阅读全文
摘要:原博文出自于: http://blog.fens.me/hadoop-mahout-recommend-book/ 感谢! Mahout构建图书推荐系统 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahou
阅读全文
摘要:原博文出自于: http://blog.fens.me/mahout-recommend-engine/ 感谢! 从源代码剖析Mahout推荐引擎 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout,
阅读全文
摘要:原博文出自于: http://blog.fens.me/hadoop-mahout-kmeans/ 感谢! Mahout分步式程序开发 聚类Kmeans Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahou
阅读全文
摘要:原博文出自于: http://blog.fens.me/hadoop-mahout-mapreduce-itemcf/ 感谢! Posted: Oct 14, 2013 Tags: HadoopitemCFMahoutMapReducemr Comments: 52 Comments Hadoopi
阅读全文