2020年4月1日
MapReduce深入
摘要： hadoop中map和reduce都是进程（spark中是线程），map和reduce可以部署在同一个机器上也可以部署在不同机器上。 输入数据是hdfs的block，通过一个map函数把它转化为一个个键值对，并同时将这些键值对写入内存缓存区（100M），内存缓存区的数据每满80M就会将这80M数据写 阅读全文
posted @ 2020-04-01 00:04 xd_xumaomao 阅读(112) 评论(0) 推荐(0) 编辑