06 2017 档案

Eclipse中导入Hadoop源代码工程
摘要：以hadoop 2.7.3为例, jdk1.7.0_80 , Eclipse Mars(4.5), Apache Maven 3.0.5 mvn时需要使用root权限,即县切换到root用户,用命令su root. 本节将介绍如何创建一个Hadoop源代码工程以方便阅读源代码. Hadoop源代码h 阅读全文
posted @ 2017-06-30 17:13 秦时明月0515 阅读(5215) 评论(0) 推荐(0) 编辑
hadoop 2.7.3 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.3.jar
摘要：为了做mapreduce开发,要使用eclipse,并且需要对应的Hadoop插件hadoop-eclipse-plugin-2.7.3.jar,首先说明一下,在hadoop1.x之前官方hadoop安装包中都自带有eclipse的插件,而如今随着程序员的开发工具eclipse版本的增多和差异,ha 阅读全文
posted @ 2017-06-30 15:20 秦时明月0515 阅读(5955) 评论(2) 推荐(1) 编辑
hadoop推荐
摘要：hadoop官网 我以Hadoop 2.7.3为例. hadoop 2.7.3 官网 . 用的操作系统是64bit Ubuntu14.04. 其中我们还可以学习 Apache Maven Project , 它是用来编译 hadoop 源代码的. 还要了解 Apache Log4j , 它用来调试 阅读全文
posted @ 2017-06-30 10:29 秦时明月0515 阅读(307) 评论(0) 推荐(0) 编辑
hadoop2 Ubuntu 下安装部署
摘要：搭建Hadoop环境( 我以hadoop 2.7.3 为例, 系统为 64bit Ubuntu14.04 ) hadoop 2.7.3 官网下载 , 选择自己要安装的版本。注意每个版本对应两个下载选项source和binary，我们暂时下载binary,我们下载编译好的文件hadoop-2.7.3. 阅读全文
posted @ 2017-06-30 09:54 秦时明月0515 阅读(372) 评论(0) 推荐(0) 编辑
Hadoop 修改源码以及将修改后的源码应用到部署好的Hadoop中
摘要：我的Hadoop版本是hadoop-2.7.3, 我们可以去hadoop官网下载源码hadoop-2.7.3-src,以及编译好的工程文件hadoop-2.7.3, 后者可以直接部署. 前者hadoop-2.7.3-src必须mvn之后才能部署. 我们修改代码必须是在hadoop-2.7.3-src 阅读全文
posted @ 2017-06-22 20:04 秦时明月0515 阅读(3737) 评论(3) 推荐(0) 编辑
Hadoop 三大调度器源码分析及编写自己的调度器
摘要：如要转载，请注上作者和出处。 由于能力有限，如有错误，请大家指正。 须知： 我们下载的是hadoop-2.7.3-src 源码。 这个版本默认调度器是Capacity调度器。 在2.0.2-alpha版本的时候，有人汇报了一个fifo调度器的bug，社区把默认调度器从原来的fifo切换成capaci 阅读全文
posted @ 2017-06-07 08:28 秦时明月0515 阅读(4320) 评论(1) 推荐(2) 编辑

点击右上角即可分享
微信分享提示