02 2016 档案

摘要:ItermCF的MR并行实现@(Hadoop)ItermCF的基本思想基于物品相似度的协同过滤推荐的思想大致可分为两部分: 1.计算物与物之前的相似度 2.根据用户的行为历史,给出和历史列表中的物品相似度最高的推荐通俗的来讲就是:对于物品 A,根据所有用户的历史偏好,喜欢物品... 阅读全文
posted @ 2016-02-26 17:42 蒋源德 阅读(542) 评论(0) 推荐(0) 编辑
摘要:MapReduce中的分布式缓存使用@(Hadoop)简介DistributedCache是Hadoop为MapReduce框架提供的一种分布式缓存机制,它会将需要缓存的文件分发到各个执行任务的子节点的机器中,各个节点可以自行读取本地文件系统上的数据进行处理。符号链接可以同在原本H... 阅读全文
posted @ 2016-02-26 16:51 蒋源德 阅读(3304) 评论(0) 推荐(0) 编辑
摘要:多个Mapper和Reducer的Job@(Hadoop)对于复杂的mr任务来说,只有一个map和reduce往往是不能够满足任务需求的,有可能是需要n个map之后进行reduce,reduce之后又要进行m个map。在hadoop的mr编程中可以使用ChainMapper和Cha... 阅读全文
posted @ 2016-02-22 21:21 蒋源德 阅读(181) 评论(0) 推荐(0) 编辑
摘要:多个Mapper和Reducer的Job@(Hadoop)对于复杂的mr任务来说,只有一个map和reduce往往是不能够满足任务需求的,有可能是需要n个map之后进行reduce,reduce之后又要进行m个map。在hadoop的mr编程中可以使用ChainMapper和Cha... 阅读全文
posted @ 2016-02-22 21:20 蒋源德 阅读(3146) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示