摘要：
1. 原文地址： "MapReduce的架构组成" MapReduce基本架构 分而治之，并行计算 一句话 —— 整体主从架构，map加reduce；map、split入磁盘，数据对分partition；shuffle、sort、key value，一个reduce解析一个partition。 一堆 阅读全文
摘要：
1. MapReduce基本编程模型和框架 1.1 MapReduce抽象模型 大数据计算的核心思想是：分而治之。如下图所示。把大量的数据划分开来，分配给各个子任务来完成。再将结果合并到一起输出。注：如果数据的耦合性很高，不能分离，那么这种并行计算就不合适了。 图1： MapReduce抽象模型 1 阅读全文
摘要：
转载自：《我是如何向老婆解释MapReduce的？》 昨天，我在Xebia印度办公室发表了一个关于MapReduce的演说。演说进行得很顺利，听众们都能够理解MapReduce的概念（根据他们的反馈）。我成功地向技术听众们（主要是Java程序员，一些Flex程序员和少数的测试人员）解释了MapRed 阅读全文
摘要：
原文地址： "如何简单解释 MapReduce 算法" 在Hackbright做导师期间，我被要求向技术背景有限的学生解释MapReduce算法，于是我想出了一个有趣的例子，用以阐释它是如何工作的。 例子 你想数出一摞扑克牌中有多少黑桃。直观方式是一张一张检查并且数出有多少张是黑桃。 MapRedu 阅读全文
摘要：
1. 参看原文 "【Hadoop】HDFS的运行原理" 2. 参看原文 " 还不懂HDFS的工作原理？快来扫扫盲" 简介 HDFS(Hadoop Distributed File System) Hadoop分布式文件系统。是根据google发表的论文实现的。论文为GFS( Google File 阅读全文
摘要：
HDFS命令基本格式 1. hadoop fs cmd args 2. hdfs dfs cmd args cat 将路径指定文件的内容输出到stdout。 示例 + + ls命令 列出 hdfs文件系统根目录下的目录和文件 列出hdfs文件系统所有的目录和文件 列出hdfs文件系统在 /opt/l 阅读全文
摘要：
centos 多台机器免密登录 "hadoop学习笔记(五)——全分布模式下SSH免密码登陆的实现" 参考安装教程 "Hadoop 2.7.4 集群快速搭建" 启动hadoop 关闭 hadoop 无法访问50070端口 1. 本机telnet 查看是否能连通50070端口。 2. 开放端口： /s 阅读全文