MapReduce 排序

MapReduce 默认排序

MapReduce 中Mapper 和 Reducer 中的 <Key,Value> 键值对,Key 值是基本类型,那么将按照基本类型对应的 Key 进行排序(如 int类型的 IntWritable,long 类型的 LongWritable,以及 String类型的 Text,默认都是按照升序排序)

MapReduce 自定义排序

当 MapReduce 的默认排序无法满足业务需求,则需要自定义排序规则,具体如下:

  • 自定义 key 的数据类型

    实现 WritableComparable接口

  • 自定义 key 的排序规则

    重写 compare() 方法

注意事项
  • MapReduce 排序仅局限每个分区,无法实现全局排序
  • MapReduce 排序在 Map 分组后 Reduce 聚合前进行,不会对 Reduce 聚合后的结果再进行排序
posted @   追こするれい的人  阅读(226)  评论(0编辑  收藏  举报
编辑推荐:
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
阅读排行:
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 使用C#创建一个MCP客户端
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 按钮权限的设计及实现
点击右上角即可分享
微信分享提示