摘要: Hadoop 2.X 包括 编译好的可以直接部署的文件hadoop-{VERSION}.tar.gz; 还有源代码文件hadoop-{VERSION}-src.tar.gz , 需要 Maven 编译后才能进行部署安装. 我以 hadoop 2.7.3 为例. 1. 在Hadoop 的JAR 压缩包 阅读全文
posted @ 2017-07-01 10:33 秦时明月0515 阅读(645) 评论(0) 推荐(0) 编辑
摘要: 以hadoop 2.7.3为例, jdk1.7.0_80 , Eclipse Mars(4.5), Apache Maven 3.0.5 mvn时需要使用root权限,即县切换到root用户,用命令su root. 本节将介绍如何创建一个Hadoop源代码工程以方便阅读源代码. Hadoop源代码h 阅读全文
posted @ 2017-06-30 17:13 秦时明月0515 阅读(5210) 评论(0) 推荐(0) 编辑
摘要: 为了做mapreduce开发,要使用eclipse,并且需要对应的Hadoop插件hadoop-eclipse-plugin-2.7.3.jar,首先说明一下,在hadoop1.x之前官方hadoop安装包中都自带有eclipse的插件,而如今随着程序员的开发工具eclipse版本的增多和差异,ha 阅读全文
posted @ 2017-06-30 15:20 秦时明月0515 阅读(5953) 评论(2) 推荐(1) 编辑
摘要: hadoop官网 我以Hadoop 2.7.3为例. hadoop 2.7.3 官网 . 用的操作系统是64bit Ubuntu14.04. 其中我们还可以学习 Apache Maven Project , 它是用来编译 hadoop 源代码的. 还要了解 Apache Log4j , 它用来调试 阅读全文
posted @ 2017-06-30 10:29 秦时明月0515 阅读(305) 评论(0) 推荐(0) 编辑
摘要: 搭建Hadoop环境( 我以hadoop 2.7.3 为例, 系统为 64bit Ubuntu14.04 ) hadoop 2.7.3 官网下载 , 选择自己要安装的版本。注意每个版本对应两个下载选项source和binary,我们暂时下载binary,我们下载编译好的文件hadoop-2.7.3. 阅读全文
posted @ 2017-06-30 09:54 秦时明月0515 阅读(371) 评论(0) 推荐(0) 编辑
摘要: 我的Hadoop版本是hadoop-2.7.3, 我们可以去hadoop官网下载源码hadoop-2.7.3-src,以及编译好的工程文件hadoop-2.7.3, 后者可以直接部署. 前者hadoop-2.7.3-src必须mvn之后才能部署. 我们修改代码必须是在hadoop-2.7.3-src 阅读全文
posted @ 2017-06-22 20:04 秦时明月0515 阅读(3720) 评论(3) 推荐(0) 编辑
摘要: 如要转载,请注上作者和出处。 由于能力有限,如有错误,请大家指正。 须知: 我们下载的是hadoop-2.7.3-src 源码。 这个版本默认调度器是Capacity调度器。 在2.0.2-alpha版本的时候,有人汇报了一个fifo调度器的bug,社区把默认调度器从原来的fifo切换成capaci 阅读全文
posted @ 2017-06-07 08:28 秦时明月0515 阅读(4304) 评论(1) 推荐(2) 编辑
摘要: 这是我的分析,当然查阅书籍和网络。如有什么不对的,请各位批评指正。以下的类有的并不完全,只列出重要的方法。 如要转载,请注上作者以及出处。 一、源码阅读环境 需要安装jdk1.7.0版本及其以上版本,还需要安装Eclipse阅读hadoop源码。 Eclipse安装教程参见我的博客。 Hadoop源 阅读全文
posted @ 2017-05-18 18:19 秦时明月0515 阅读(2104) 评论(0) 推荐(1) 编辑
摘要: Tomcat不管是windows还是Linux版本,都是解压后就再配置一下就可以使用。安装Tomcat前必须先安装JDK,一般我们可以在eclipse中加入Tomcat来开发。 什么是Tomcat? 安装JDK和eclipse可参见我的博客:http://www.cnblogs.com/zhangc 阅读全文
posted @ 2017-05-04 13:12 秦时明月0515 阅读(656) 评论(0) 推荐(0) 编辑
摘要: 1. 安装JDK 官网下载 下载java SE 下载 Java SE 7 1.1 windows配置jdk windows配置jdk 1.2 Ubuntu配置jdk Ubuntu 安装 JDK 7 / JDK8 的两种方式 http://www.linuxidc.com/Linux/2015-01/ 阅读全文
posted @ 2017-05-04 12:33 秦时明月0515 阅读(895) 评论(0) 推荐(0) 编辑