2019年8月31日
hadoop 自定义OutputFormat
摘要： 1、继承FileOutputFormat，复写getRecordWriter方法 2、实现RecordWriter 3、map 4、reducer 5、driver 阅读全文
posted @ 2019-08-31 22:50 我是属车的 阅读(935) 评论(0) 推荐(0) 编辑
hadoop mapreduce求解有序TopN
摘要： 利用hadoop的map和reduce排序特性实现对数据排序取TopN条数据。 代码参考：https://github.com/asker124143222/wordcount 1、样本数据，假设是订单数据，求解按订单id排序且每个订单里价格最高前三，从高到低排序。 2、求解思路 3、code 3. 阅读全文
posted @ 2019-08-31 15:08 我是属车的 阅读(499) 评论(0) 推荐(0) 编辑