10 2014 档案

摘要:以下是自定义的一个数据类型,有两个属性,一个是名称,一个是开始点(可以理解为单词和单词的位置)MR程序就不写了,请看WordCount程序。package cn.genekang.hadoop.mr.RealignerTargetCreator;import java.io.DataInput;im... 阅读全文
posted @ 2014-10-31 18:17 林六天 阅读(336) 评论(0) 推荐(0)
摘要:MapReduce程序就是根据其特性对数据进行一个简单的逻辑处理,其中最为重要的一个特性就是根据key值将value值进行合并,其次就是在shuffle阶段有排序。遇到一个MR程序就是要巧妙利用合并、排序的特性。单表关联就是根据利用了合并的原理。先上测试数据child parentTom Luc... 阅读全文
posted @ 2014-10-30 11:01 林六天 阅读(402) 评论(0) 推荐(0)
摘要:Python在window下搭建python的一个学习网站:廖雪峰的官方网站Python的官方地址:www.python.org集成开发环境pycharm:www.jetbrains.com这里我下载的python的版本是2.7.8,因为目前基于这个版本的库很多,使用的人也很多。第一个Python程... 阅读全文
posted @ 2014-10-27 19:15 林六天 阅读(178) 评论(0) 推荐(0)