摘要: 在上例中,使用Avro框架求出数据的最大值,本例使用Avro对数据排序,输入依然是之前的样本,输出使用文本(也可以输出Avro格式)。 1、在Avro的Schema中直接设置排序方向。 原常量类: 2、mapper 3、reducer 4、job 阅读全文
posted @ 2019-02-26 14:13 我是属车的 阅读(618) 评论(0) 推荐(0) 编辑
摘要: 在上例中:hadoop MapReduce辅助排序解析,为了求每年的最大数据使用了mapreduce辅助排序的方法。 本例中介绍利用Avro这个序列化框架的mapreduce功能来实现求取最大值。Avro的优点在这里不做扩展。 1、依赖引入,不使用插件 2、定义Avro数据结构,样本依然使用上例的数 阅读全文
posted @ 2019-02-26 11:21 我是属车的 阅读(291) 评论(0) 推荐(0) 编辑