摘要：在弄清楚yarn是什么之前，先来看一下MRv1。 它的由编程模型+数据处理引擎（map/reduceTask）+运行时环境组成（JobTracker/TaskTracker）。其中JobTracker存在很多问题，如下： 1、JobTracker本身承担了调度和计算的任务，太累了 2、JobTrac
阅读全文
随笔分类 - Hadoop
摘要：这篇文章来自于：董的博客，记录备查 内存管理，主要是管理nodemanager上的物理内存和虚拟内存。 YARN允许用户配置每个节点上可用的物理内存资源，注意，这里是“可用的”，因为一个节点上的内存会被若干个服务共享，比如一部分给YARN，一部分给HDFS，一部分给HBase等，YARN配置的只是自
阅读全文
摘要：一、先在HDFS文件系统创建对应的目录，具体如下：1、待处理文件存放目录/data/wordcount（之所以创建wordcount，是为了对文件分类，对应本次任务名）命令：hadoop fs -mkdir -p /data/wordcount (-p是同时创建子目录)2、存放输出文件目录/outp...
阅读全文
摘要：一、导入hadoop插件到eclipse插件名称：hadoop-eclipse-plugin-2.7.0.jar我是从网上下载的，还可以自己编译。放到eclipse安装目录下的plugins文件夹tip：1、竟然没有plugins文件夹，自己在安装目录下新建了个文件夹2、重启eclipse后，一直无...
阅读全文
摘要：首先献上Hadoop下载地址：http://apache.fayea.com/hadoop/core/选择相应版本，点一下，直接进行http下载了。对原来写的一篇文章，相当不满意，过于粗糙了，于是删除重新再来。言归正传：题前说明：我一共三台机器，机器名分别是：masterslave1slave2登录...
阅读全文
摘要：题前语：为什么要安装这个东西呢？是因为我们要在多台机器之间通信，这个服务就相当于支持这种通信的一个桥梁，打个比喻，相当于windows里，通过远程桌面连接到其他机器。所以，安装这个服务，的目的是：1、为了连接其他的机器2、更进一步，为了在连接其他机器时，免密码登陆以下是具体步骤：1、联网情况下，执行...
阅读全文
摘要：1、环境安装：虚拟机：VMware Player系统：Ubuntu12注意事项：注意位数，包括系统，java，Hadoop2、切换账号当前登录账号是自己的账号，如果想切换到root，且是第一次切换，需要执行以下步骤：sudo passwdoaPassword: "export JAVA_HOME=/...
阅读全文
摘要：方法：http://www.aboutyun.com/thread-12694-1-1.htmlhttp://www.linuxidc.com/topicnews.aspx?tid=13http://www.cnblogs.com/kinglau/p/3270160.htmlhttp://www.w...
阅读全文
