2016年11月30日
Hadoop Day5
摘要： Hadoop Day5 官方网址：http://zookeeper.apache.org/ 什么是Zookeeper？ Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务 它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命 阅读全文
posted @ 2016-11-30 22:05 十年饮冰难凉热血 阅读(104) 评论(0) 推荐(0) 编辑
Hadoop Day4
摘要： 1.Writable接口与序列化机制（***必须掌握***序列化概念序列化（Serialization是指把结构化对象转化为字节流。反序列化（Deserialization是序列化的逆过程。即把字节流转回结构化对象。Java序列化（java.io.SerializableHadoop序列化的特点Ha 阅读全文
posted @ 2016-11-30 21:33 十年饮冰难凉热血 阅读(103) 评论(0) 推荐(1) 编辑
Hadoop Day3
摘要： Hadoop Day3 思考：怎样解决海量数据的计算？ MapReduce概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. MapReduce由两个阶段组成： map()：任务分解 reduce()：结果汇总 map()：任务分解 redu 阅读全文
posted @ 2016-11-30 21:16 十年饮冰难凉热血 阅读(97) 评论(0) 推荐(0) 编辑
Hadoop Day2
摘要： 1.分布式文件系统与HDFS(****了解***) Ø 思考：windows的文件存储目录结构？ Ø 什么是分布式文件系统？（***了解***） 当数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文 阅读全文
posted @ 2016-11-30 21:13 十年饮冰难凉热血 阅读(183) 评论(0) 推荐(0) 编辑
Hadoop Day1
摘要： Hadoop Day1 1.Hadoop简介(****了解***) hadoop是什么？ What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, 阅读全文
posted @ 2016-11-30 21:09 十年饮冰难凉热血 阅读(161) 评论(0) 推荐(0) 编辑