摘要: 当然,在学习过程中也是参考了很多其他的资料,代码都是一行一行敲出来的。 一、将多个文件合并成一个文件,避免频繁的打开和关闭 执行命令:就可以得到合并后的文件啦!!! tf-idf计算流程图: 二 、计算IDF的值: map阶段:读取每一行 reduce阶段: 三、计算TF的值: 阅读全文
posted @ 2019-04-21 22:36 风清_云淡 阅读(559) 评论(0) 推荐(0) 编辑
摘要: 最近在学了python了,从mapReduce开始 ,话不多说了,直接上代码了哈 map阶段,map.py文件 reduce阶段:reduce.py文件 map到reduce阶段要做一个排序,相同的key放到了一起 还需要一个run.sh 执行和查看 写的比较简单哈 阅读全文
posted @ 2019-04-21 00:32 风清_云淡 阅读(348) 评论(0) 推荐(0) 编辑