摘要: 一、mapreduce的思想 MapReduce擅长处理大数据,它为什么具有这种能力呢?这可由MapReduce的设计思想发觉。MapReduce的思想就是“分而治之”。 (1)Mapper负责“分”,即把复杂的任务分解为若干个“简单的任务”来处理。“简单的任务”包含三层含义:一是数据或计算的规模相 阅读全文
posted @ 2019-08-18 23:28 小菜鸡的刨坑路 阅读(2175) 评论(0) 推荐(0) 编辑
摘要: 一、主从结构:在一个集群中,会有部分节点充当主服务器的角色,其他服务器都是从服务器的角色,当前这种架构模式叫做主从结构。 主从结构分类: 1、一主多从 2、多主多从 Hadoop中的HDFS和YARN都是主从结构,主从结构中的主节点和从节点有多重概念方式: 1、主节点 从节点 2、master sl 阅读全文
posted @ 2019-08-18 23:08 小菜鸡的刨坑路 阅读(4610) 评论(0) 推荐(0) 编辑