摘要: MapReduce的序列化 序列化(Serialization)是指把结构化对象转化为字节流。 反序列化(Deserialization)是序列化的逆过程。把字节流转为结构化对象。 当要在进程间传递对象或持久化对象的时候,就需要序列化对象成字节流,反之当要将接收到或从磁盘读取的字节流转换为对象,就要 阅读全文
posted @ 2017-07-18 20:29 青衫仗剑 阅读(645) 评论(0) 推荐(0) 编辑
摘要: 简介 Hadoop MapReduce是一个分布式运算编程框架,基于该框架能够容易地编写应用程序,进而处理海量数据的计算。 MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",是它们的主要思想;Map 负责"分",即把复杂的任 阅读全文
posted @ 2017-07-18 18:54 青衫仗剑 阅读(456) 评论(0) 推荐(0) 编辑