hadoop mapreduce原理

hadoop:

• mapreduce最好实例
  • map 对每行数据进行处理, 输出是<k,v>，map的输入数据的格式可以通过inputformat来切份文件和读取文件
  • reduce 收到的是map的<k,v>按照归并的显示的结果即<k,[v1,v2,v3...]>,reduce方法接收到的是同一个key的一组value。
  • 注意配置的map和reduce数量，也就对应这最后的输出的数量part-1000:0-999