摘要: 1.什么是MapReduce Hadoop的文件系统,对于节点管理,最终还是为了进行运算。所以其中最主要的运算核心还是MapReduce。有些书上会吧Map和Reduce翻译过来讲,我觉得很生硬,不如直接用英文来的好。不翻译过来的前提要明白Map和Reduce的内在含义。Map原意是地图,计算机上多 阅读全文
posted @ 2016-06-29 17:36 gaungyao.wu 阅读(169) 评论(0) 推荐(0) 编辑
摘要: HDFS:(Hadoop Distributed File System),Hadoop分布式文件系统。 从名字上就看出了它的两点功能。基本功能,存文件,是一个文件系统;另外这个文件系统是分布式的; HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ② 运 阅读全文
posted @ 2016-06-29 17:14 gaungyao.wu 阅读(250) 评论(0) 推荐(0) 编辑
摘要: Hadoop: 1 HDFS(分布式文件系统) 2 HBase/Sqoop/Flume(数据导入与导出) 3 MapReduce/Spark(并行计算架构) 4 Pig/Hive(Hadoop编程) 5 ZooKeeper/Oozie(系统管理架构) 6 Ambari/Whirr(系统部署管理) 7 阅读全文
posted @ 2016-06-29 14:36 gaungyao.wu 阅读(1152) 评论(0) 推荐(0) 编辑