陈大同

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

2019年3月24日

摘要: partV 创建文档反向索引。word -> document 与 前面做的 单词统计类似,这个是单词与文档位置的映射关系。 mapF 文档解析相同,返回信息不同而已。 reduceF 返回归约都的字符串,返回document 切片 转成 string 使用 strings.join 。 maste 阅读全文
posted @ 2019-03-24 22:27 陈大同 阅读(266) 评论(0) 推荐(0) 编辑

摘要: PartIV 实现 处理worker 失败情况。 worker 处理失败,master 应该重新分配该任务给其他的worker 处理。 rpc 失败情况复杂,可能worker 结果回应丢失了,也有可能 worker还在处理,但是 master rpc 超时了。考虑两个worker都拿到相同的task 阅读全文
posted @ 2019-03-24 22:14 陈大同 阅读(684) 评论(0) 推荐(0) 编辑

摘要: partIII 实现 分发MapReduce 任务,实现 schedule() 方法在 mapreduce/schedule.go。 schedule()函数的职责是把任务分给可用的worker. schedule()通过信道registerChan参数读取 注册的worker. worker与sc 阅读全文
posted @ 2019-03-24 22:03 陈大同 阅读(1013) 评论(0) 推荐(0) 编辑

摘要: PartII 实现单词统计 实现 main/wc.go 两个函数 mapF() 、 reduceF() 单词是任意字母连续序列, 由unicode.IsLetter 决定字母 测试数据 pg-*.txt 放在 ~/6.824/src/main $ cd 6.824 $ export "GOPATH= 阅读全文
posted @ 2019-03-24 21:36 陈大同 阅读(194) 评论(0) 推荐(0) 编辑

摘要: 序言 1. master.go 可以正常调用Distributed() 和 Sequential()。 Sequential 顺序执行主要用于调试。 2. master : 创建一个 RPC server(master_rpc.go). 等待 worker 注册服务(master.go Regist 阅读全文
posted @ 2019-03-24 21:02 陈大同 阅读(638) 评论(0) 推荐(0) 编辑

摘要: MIT 6.824 LAB1 环境搭建 vmware 虚拟机 linux ubuntu server 安装 go 官方安装步骤: 下载此压缩包并提取到 /usr/local 目录,在 /usr/local/go 中创建Go目录树。例如: tar -C /usr/local -xzf go$VERSI 阅读全文
posted @ 2019-03-24 20:59 陈大同 阅读(1261) 评论(0) 推荐(0) 编辑