$王大少

导航

2020年3月28日 #

mapreducer调优

摘要： 一、mapreduce当中的计数器可以共我们调优 自定义计数器的两种方式? 1、在mapper里面 Counter counter = context.getCounter("MAP_INPUT_RECORD_COUNTER", "MAP_RECORD_NUM"); counter.incremen 阅读全文

posted @ 2020-03-28 20:54 $王大少 阅读(158) 评论(0) 推荐(0) 编辑

序列话和反序列化

摘要： 在java中 序列化（Serialization）是指把结构化对象转化为字节流 反序列化（Deserialization）是序列化的逆过程。把字节流转为结构化对象。 阅读全文

posted @ 2020-03-28 17:31 $王大少 阅读(118) 评论(0) 推荐(0) 编辑

mapreduce执行job打印的日志聚合

摘要： 如果两个reduce分别在两台机器上运行,各自产生的日志,都保存在各自的机器上， 所以要看完整地日志必须开启日志聚合功能yarn-site.xml更改设置 阅读全文

posted @ 2020-03-28 17:14 $王大少 阅读(295) 评论(0) 推荐(0) 编辑