上一页 1 ··· 22 23 24 25 26 27 28 29 30 ··· 57 下一页

2014年3月18日

hadoop各版本下载

摘要: http://hadoop.apache.org/Download Hadoop from the release page.http://hadoop.apache.org/releases.htmlDownload a release now!http://www.apache.org/dyn/closer.cgi/hadoop/common/We suggest the following mirror site for your download:他会推荐一个镜像站点(如果这个不好可以换其他的)cdh有两个大的发行版:http://archive-primary.cloudera.co 阅读全文

posted @ 2014-03-18 10:51 雨渐渐 阅读(544) 评论(0) 推荐(0) 编辑

2014年3月17日

mapreduce (六) MapReduce实现去重 NullWritable的使用

摘要: 习题来源:http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.htmlfile12012-3-1 a2012-3-2 b2012-3-3 c2012-3-4 d2012-3-5 a2012-3-6 b2012-3-7 c2012-3-... 阅读全文

posted @ 2014-03-17 10:46 雨渐渐 阅读(3884) 评论(0) 推荐(0) 编辑

hadoop 生态系统版本对应问题

摘要: http://hbase.apache.org/book.html这是hortonworks的哦哦哦哦哦哦哦哦哦哦哦哦Hadoop 2.x is better than Hadoop 1.xHadoop 2.x is faster, with more features such as short-circuit reads which will help improve your HBase random read profile as well important bug fixes that will improve your overall HBase experience. You 阅读全文

posted @ 2014-03-17 09:57 雨渐渐 阅读(337) 评论(0) 推荐(0) 编辑

2014年3月14日

mapreduce (五) MapReduce实现倒排索引 修改版 combiner是把同一个机器上的多个map的结果先聚合一次

摘要: (总感觉上一篇的实现有问题)http://www.cnblogs.com/i80386/p/3444726.html combiner是把同一个机器上的多个map的结果先聚合一次现重新实现一个:思路:第一个mapreduce仅仅做 的统计,即某个单词在某一篇文章里出现的次数。(原理跟wordc... 阅读全文

posted @ 2014-03-14 11:31 雨渐渐 阅读(697) 评论(0) 推荐(0) 编辑

2014年3月13日

mapreduce (四) MapReduce实现Grep+sort

摘要: 1.txtdong xi chengxi dong chengwo ai beijingtian an menqichedongdongdong2.txtdong xi chengxi dong chengwo ai beijingtian an menqichedongdongdongimport... 阅读全文

posted @ 2014-03-13 16:40 雨渐渐 阅读(851) 评论(0) 推荐(0) 编辑

2014年3月12日

ctr预估模型

摘要: http://wenku.baidu.com/course/view/1488bfd5b9f3f90f76c61b8d 阅读全文

posted @ 2014-03-12 08:30 雨渐渐 阅读(375) 评论(0) 推荐(0) 编辑

2014年3月11日

mapreduce (七) 几个实例

摘要: http://hi.baidu.com/hzd2712/item/d2465ae65270ab3e4cdcaf55MapReduce几个典型的例子 在Google的《MapReduce: Simpli ed Data Processing on Large Clusters》论文中,作者... 阅读全文

posted @ 2014-03-11 15:06 雨渐渐 阅读(579) 评论(0) 推荐(0) 编辑

hadoop输出统计

摘要: 阅读全文

posted @ 2014-03-11 10:19 雨渐渐 阅读(145) 评论(0) 推荐(0) 编辑

管道式编程 查找,排序等

摘要: 读取Sep-2013下面的所有log文件,并扔进管道cat /home/hadoop/Sep-2013/*/* | python ipmappper.py | sort | python ipreducer.pyvim 1.txtdong xi chengxi dong chengwo ai bei... 阅读全文

posted @ 2014-03-11 09:55 雨渐渐 阅读(234) 评论(0) 推荐(0) 编辑

2014年3月10日

python中xrange与range的异同

摘要: 转载自:http://ciniao.me/article.php?id=17>>> range(5)[0, 1, 2, 3, 4]>>> range(1, 5)[1, 2, 3, 4]>>> range(0, 6, 2)[0, 2, 4]>>> xrange(5)xrange(5)>>> list(xrange(5))[0, 1, 2, 3, 4]>>> xrange(1,5)xrange(1, 5)>>> list(xrange(1,5))[1, 2, 3, 4]&g 阅读全文

posted @ 2014-03-10 17:38 雨渐渐 阅读(362) 评论(0) 推荐(0) 编辑

上一页 1 ··· 22 23 24 25 26 27 28 29 30 ··· 57 下一页

导航