keepgoon - 博客园

摘要： MapReduce作业(job)是用户提交的最小单位，而Map/Reduce任务(task)是MapReducev算的缎小单位，如图示。当用户向Hadoop提交一个MapReduce作业时，JobTracke的作业分解模块会将其分拆为任务交由各个Tas... 阅读全文

posted @ 2017-05-04 17:22 keepgoon 阅读(287) 评论(0) 推荐(0) 编辑

摘要：与HDFS相同的是，Hadoop的MapReduce计算框架也是主从架构，支撑MapReduce计算框架的是JobTracke:和TaskTracke:两类后台进程，如图JobTrackerJobTracke:在集群中扮演了主的角色，它主要负责任务调度和集群资... 阅读全文

posted @ 2017-05-04 17:12 keepgoon 阅读(178) 评论(0) 推荐(0) 编辑

摘要： MapReduce源于Google一篇论文，它充分借鉴了分而治之的思想，将一个数据处理过程拆分为主要的Map(映射)与Reduce(化简)两步。用户不懂分布式计算框架的内部运行机制，只要能用Map和Reduce的思想描述清楚要处理的问题，即编写map()和... 阅读全文

posted @ 2017-05-02 22:59 keepgoon 阅读(627) 评论(0) 推荐(0) 编辑

摘要：首先，找到Tomcat服务器的安装目录bin目录下的shutdown.bat。然后拖动到命令行进行操作，将Tomcat服务器关闭~将shutdown.bat 文件拖至命令行操作当中，执行该命令，即可关闭Tomcat服务器。阅读全文

posted @ 2017-05-02 15:04 keepgoon 阅读(487) 评论(0) 推荐(0) 编辑

摘要： HDFS的设计理念是源于非常朴素的思想：当数据集大小超过单台计算机的存储能力时，就有必要将其进行分区，并且存储到若干台单独的计算机上，而管理网络中跨多台计算机存储的文件系统称为分布式文件系统（distribute filesystem）.hadoop 具有一个抽象的文... 阅读全文

posted @ 2017-04-26 16:14 keepgoon 阅读(258) 评论(0) 推荐(0) 编辑

摘要： hadoop在安装前，咱们需要知道一下几点。 1.hadoop运行模式单机（本地）模式：这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有... 阅读全文

posted @ 2017-04-26 10:37 keepgoon 阅读(145) 评论(0) 推荐(0) 编辑

摘要：根据对HDFS架构和MapReduce架构的了解，咱们首先清楚的明白了，HDFS和MapReduce的集群其实都是由一些守护进程组成的，而所有的守护进程和运行他们的节点就构成了Hadoop集群。由上图咱们可以看到NameNode进程和JobTasker进程在一个节点上... 阅读全文

posted @ 2017-04-26 10:09 keepgoon 阅读(110) 评论(0) 推荐(0) 编辑

摘要：构成MapReduce集群为两类节点， JobTeacker和TaskTrasker。与HDFS架构类似，MapReduce也采用主从（master、slave）的架构。JobTeacker和TaskTrasker分别是两种守护进程，运行在各自的节点上，客户端负责用... 阅读全文

posted @ 2017-04-26 09:46 keepgoon 阅读(130) 评论(0) 推荐(0) 编辑

摘要：构成HDFS 集群的主要是两个节点，并且，以主从（master/slave ）的模式，或者说是NameNode管理者-DataNode工作者的模式运行，一般来说，都是一个管理者对应多个工作者。还有一个节点，叫做SecondaryNameNode,作为NameNode... 阅读全文

posted @ 2017-04-26 09:35 keepgoon 阅读(99) 评论(0) 推荐(0) 编辑

摘要： bootstrap当中，已经自动配置好许多CSS 样式，但是，咱们可以根据自己的需要来修改相应的部分内容，实现自己想要的结果。目前，尼玛哥在web前端开发的过程当中，使用到了bootstrap框架，但是在写导航条部分代码时，需要将.navbar-brand 的颜色设... 阅读全文

posted @ 2017-04-25 11:06 keepgoon 阅读(338) 评论(0) 推荐(0) 编辑