摘要: 1.Map端: (1)每个输入分片会让一个map任务来处理,默认情况下,以HDFS的一个块的大小(默认为64M)为一个分片,当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中(该缓冲区的大小默认为100M,由io.sort.mb属性控制),当该缓冲区快要溢出时(默认为缓冲区大 阅读全文
posted @ 2018-11-19 12:48 喜欢沧月的二福君 阅读(194) 评论(0) 推荐(0) 编辑
摘要: 求平均数是MapReduce比较常见的算法,求平均数的算法也比较简单,一种思路是Map端读取数据,在数据输入到Reduce之前先经过shuffle,将map函数输出的key值相同的所有的value值形成一个集合value-list,然后将输入到Reduce端,Reduce端汇总并且统计记录数,然后作 阅读全文
posted @ 2018-11-19 12:46 喜欢沧月的二福君 阅读(374) 评论(0) 推荐(0) 编辑
摘要: 1.定义格式:可一个是:=定义2.数据类型3.中文汉字占3个字节,和linux相同4.switch循环里面可以有fallthrough(直接略过这case,向下执行)5.程序中可以有goto6.使用goland编写go程序时候,可以自动对齐,在设置里面加上一个fmt既可以了7.len函数返回长度8. 阅读全文
posted @ 2018-11-19 12:41 喜欢沧月的二福君 阅读(171) 评论(0) 推荐(0) 编辑

联系博主qq2456891380