大数据学习日志——mapreduce过程以及java代码通过mapreduce实现wordcount
摘要：
首先看mapreduce流程: 除去输入和输出之后，数据计算只有三个步骤，map，combine，reduce，其中只有map和reduce过程是必要过程，combine若不设置可以略过这一计算过程 首先map过程从数据源读取数据，根据设置的mapper数多个核心同时读取数据，然后在combine过 阅读全文
posted @ 2019-03-24 10:20 SaltFishYe 阅读(305) 评论(0) 推荐(0) 编辑
