摘要：
解读WordCount WordCount程序就是MapReduce的HelloWord程序。通过对WordCount程序分析，我们可以了解MapReduce程序的基本结构和执行过程。 WordCount设计思路WordCount程序很好的体现了MapReduce编程思想。一般来说，文本作为MapR 阅读全文
摘要：
YARN：资源调度平台 YARN的调度器 可以这样理解，Hadoop相当于一台虚拟计算机（由多台计算机构造的集群），那么HDFS就是这台虚拟计算机的文件系统，管理磁盘资源；而YARN负责管理虚拟计算机的CPU和内存资源。在YARN上跑的MapReduce程序（上一节跑的PI和wordcount两个应 阅读全文
摘要：
MapReduce介绍本节将介绍Hadoop的分布式计算框架：MapReduce。 MapReduce来历MapReduce最早来源于谷歌公司的一篇学术论文，是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法，当时主要是为了解决其搜索引擎中大规模网页数据的并行化处理。但由于Ma 阅读全文
摘要：
yarn命令的用法 classpath 使用: yarn classpath 打印需要得到Hadoop的jar和所需要的lib包路径 查看节点列表 查看节点状况 先停止YARN，然后通过yarn命令来启动resourcemanager和nodemanager JPS命令，已经没有YARN的相关服务了 阅读全文
摘要：
YARN：资源调度平台 YARN集群运行 HDFS已经启动 [root@node1 hadoop]# scp yarn-site.xml node2:/opt/hadoop-2.7.3/etc/hadoop/ yarn-site.xml 100% 3496 282.5KB/s 00:00 [root 阅读全文
摘要：
YARN：资源调度平台 YARN集群配置 简单配置 yarn-site.xml mapred-site.xml slave 需要注意：这个文件是指定子节点的位置，同时也是帮助Yarn指定NodeManager启动的位置。即如果HDFS没有指定slaves的话，将没有DataNode；如果Yarn没有 阅读全文
摘要：
YARN：资源调度平台 YARN参数解读与调优 yarn-site.xml文件默认参数： http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml capacity.CapacitySch 阅读全文
摘要：
YARN介绍 YARN的全称是Yet Another Resource Negotiator，意为另一种资源调度者。 从Apache Hadoop 2.0开始， Hadoop包含 YARN。 Hadoop 1.x与Hadoop 2.x （1）MRv1 在介绍Yarn之前，我们先回头看一下Hadoop 阅读全文
摘要：
HDFS的Java API Java API封装类 执行main方法前 执行main方法后 修改主方法 阅读全文
摘要：
HDFS的Java API Java API应用 上传文件 先在本地（客户端）一个文件，比如在D盘下新建一个word2.txt文件，内容随便写 在IDEA中编写Java程序 再次说明，String dest="hdfs://192.168.80.128:9000/user/root/input/wo 阅读全文