2020年3月18日
自定义InputFormat代码实现
摘要： 自定义InputFormat代码实现 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.MapReduce并行度决定机制 在说MapTask并行度决定之前，我们要先明确以下几个概念: 1>.MapTask的并行度决定Map节点的任务处理并发度,进而影响到整个Job的处理速度; 2 阅读全文
posted @ 2020-03-18 23:30 JasonYin2020 阅读(913) 评论(1) 推荐(1) 编辑
Hadoop数据序列化
摘要： Hadoop数据序列化 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.数据序列化概述 1>.什么是数据序列化 Q1:什么数据序列化? 是将内存对象转换为字节流的过程，它直接决定了数据解析效率以及模式演化能力(数据格式发生变化时,比如增加或删除字段，是否仍能够保持兼容性)。 话 阅读全文
posted @ 2020-03-18 21:36 JasonYin2020 阅读(507) 评论(0) 推荐(0) 编辑
第一个MapReduce程序
摘要： 第一个MapReduce程序 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.使用Java代码实现一个MapReduce实战案例 1>.自定义Mapper package cn.org.yinzhengjie.mapreduce; import org.apache.hadoo 阅读全文
posted @ 2020-03-18 12:16 JasonYin2020 阅读(259) 评论(0) 推荐(0) 编辑