摘要: 1.序列化 所谓的序列化,就是将结构化对象转化为字节流,以便在网络上传输或是写道磁盘进行永久存储。反序列化,就是将字节流转化为结构化对象。在Java中也存在序列化,刚学Java的时候,接触的第一个项目就是QQ聊天系统,也就是网络编程,其中,用到的就是字符流传输数据,通过对象序列化,然后转化为字符流或... 阅读全文
posted @ 2014-12-11 16:26 就像你一样回不来 阅读(2838) 评论(0) 推荐(0) 编辑
摘要: 1.压缩和输入分片 Hadoop中文件是以块的形式存储在各个DataNode节点中,假如有一个文件A要做为输入数据,给MapReduce处理,系统要做的,首先从NameNode中找到文件A存储在哪些DataNode中,然后,在这些DataNode中,找到相应的数据块,作为一个单独的数据分块,作为ma... 阅读全文
posted @ 2014-12-11 14:27 就像你一样回不来 阅读(708) 评论(0) 推荐(0) 编辑