Django's blog

2014年3月11日

摘要： Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的标阅读全文

posted @ 2014-03-11 15:33 Django's blog 阅读(644) 评论(0) 推荐(0) 编辑

Apache Mahout：适合所有人的可扩展机器学习框架

摘要： http://www.ibm.com/developerworks/cn/java/j-mahout-scaling/在软件的世界中，两年就像是无比漫长的时光。在过去两年中，我们看到了社交媒体的风生水起、大规模集群计算的商业化（归功于 Amazon 和 RackSpace 这样的参与者），也看到了数据的迅猛增长以及我们诠释这些数据的能力的显著提升。“Apache Mahout 简介” 最初在 developerWorks 上发表也已经是两年之前的事情。这之后，Mahout 社区（以及项目的代码库和功能）取得了长足的发展。Mahout 也得到了全球各地各种规模的企业的积极采用。在我撰写的Apac 阅读全文

posted @ 2014-03-11 12:14 Django's blog 阅读(434) 评论(0) 推荐(0) 编辑

mahout0.7 示例运行纪实

摘要： http://1992mrwang.blog.51cto.com/3265935/1205282运行太不容易了所以要记下来以免后面忘记了首先是数据vim testdata.txt第一列为UserID ，第二列为ItemID，第三列为Preference Value 即评分1234567891011121314151617181920211,101,51,102,31,103,2.52,101,22,102,2.52,103,52,104,23,101,2.53,104,43,105,4.53,107,54,101,54,103,34,104,4.54,106,45,101,45,102,35 阅读全文

posted @ 2014-03-11 12:07 Django's blog 阅读(416) 评论(0) 推荐(0) 编辑

win7基于mahout推荐之用户相似度计算

摘要： http://www.douban.com/note/319219518/?type=likewin7基于mahout推荐之用户相似度计算2013-12-03 09:19:11事情回到半年前，我想做关于推荐系统的东西，结果看到了强大的apache mahout，然后各种安装linux，hadoop，apache，mahout，taste，结局是，一个星期的努力，失败....linux实在是hold不住啊，最后放弃了，可是最近计算用户相似度，实在是喜欢mahout 的开源，硬着头皮使用win7,+eclipse+maven+mahout0.8，下了好多东西；网站：mahout下载网站上面的东西基阅读全文

posted @ 2014-03-11 12:02 Django's blog 阅读(496) 评论(0) 推荐(0) 编辑

2014年3月10日

cygwin

摘要： Cygwin使用方法2010-03-08 15:46:26|分类：电子爱好者|举报|字号订阅Cygwin使用方法学习心得2009-11-25 13:21:13阅读1327评论0字号：大中小对于 UNIX 本身，也有各种称呼。IBM® 大型机用户说各种带字母 “z” 的行话，比如 IBM z/OS® 和 System z9 Virtual Machine (z/VM)；嵌套系统开发人员使用 eCos 这个词；在聊天中还会提到其他许多风格的 UNIX，比如 Linux®、FreeBSD、Sun Solaris 和 Mac OS X。现代信息技术使用各种各样的方言，简直阅读全文

posted @ 2014-03-10 18:17 Django's blog 阅读(533) 评论(0) 推荐(0) 编辑

Mahout初体验

摘要： Mahout运行版本：mahout-0.5, mahout-0.6, mahout-0.7，是基于hadoop-0.20.2x的。mahout-0.8, mahout-0.9，是基于hadoop-1.1.x的。mahout-0.7，有一次重大升级，去掉了多个算法的单机内存运行，并且了部分API不向前兼容。注：“用Maven构建Mahout的开发环境”，文中的 2个例子都是基于单机的内存实现，因此选择0.6版本。Mahout在Hadoop集群中运行会在下一篇文章介绍。1. 安装Mahout svn co http://svn.apache.org/repos/asf/mahout/trunk . 阅读全文

posted @ 2014-03-10 18:03 Django's blog 阅读(315) 评论(0) 推荐(0) 编辑

win7下使用Taste实现协同过滤算法

摘要：如果要实现Taste算法，必备的条件是：1） JDK，使用1.6版本。需要说明一下，因为要基于Eclipse构建，所以在设置path的值之前要先定义JAVA_HOME变量。2） Maven，使用2.0.11版本或以上。在eclipse上安装maven插件—m2eclipse。3）Apache Mahout，使用0.5版本。Apache Mahout -Taste Documentation中的安装步骤：[javascript]view plaincopy4.DemoTobuildandrunthedemo,followtheinstructionsbelow,whicharewrittenfo 阅读全文

posted @ 2014-03-10 18:02 Django's blog 阅读(670) 评论(0) 推荐(0) 编辑

mahout安装

摘要： mahout是hadoop的一种高级应用。运行mahout需要提前安装好hadoop。hadoop的安装网上很多。而且也不复杂，这里不再讲述。这里默认hadoop已经安装完成。1：下载二进制解压安装。到http://labs.renren.com/apache-mirror/mahout/0.5/ 下载，我选择下载二进制包，直接解压及可。2：配置环境变量：HADOOP_HOME,HADOOP_CONF_DIR,MAHOUT_HOME,格式如下export HADOOP_HOME=/usr/local/hadoop-0.20.205.0export HADOOP_CONF_DIR=/usr/lo 阅读全文

posted @ 2014-03-10 17:39 Django's blog 阅读(402) 评论(0) 推荐(0) 编辑

Linux用户环境变量

摘要： Linux用户环境变量环境变量就是系统或软件设置的一些参数，用户环境变量就是用户登录系统后，都有自已专用的运行环境。在Windows系统中用户环境变量保存在用户家目录，Linux也是同样的。本文主要是讲解Linux常用的环境变量和环境变量的设置。一、环境变量相关操作（只应用于当前，要永久保存需要写入到相关文件。）#echo $PATH显示PATH设置。#env显示当前用户变量。#set显示当前Shell变量。#export显示当前导出成用户变量的shell变量。#a=abc定义一个Shell变量。#export a=abc定义一个Shell变量，并导出成用户变量。#unset a清除环境变量# 阅读全文

posted @ 2014-03-10 17:20 Django's blog 阅读(3695) 评论(0) 推荐(0) 编辑

maven安装和环境变量配置

摘要： maven安装和环境变量配置myeclipse自带maven(Maven4MyEclipse)创建项目：新建Web Projects项目，在新建的页面上打上maven的勾。新建的项目里会多出个pom.xml文件为项目添加依赖包：右键项目,选择Maven4MyEclipse-->add Dependency。输入包名，maven会从中央库中查找。创建自己的依赖包：在pom.xml文件上右键，选择run as-->maven install。该命令将项目发布到本地的资源库中。其他项目需要用到这个资源，输入资源名称就可以找到。手动安装mavenMaven 2.2.1为例 (3.0.3没下阅读全文

posted @ 2014-03-10 17:17 Django's blog 阅读(777) 评论(0) 推荐(0) 编辑

公告