随笔分类 -  Hadoop源码分析

Hadoop源码分析
Eclipse远程调试HDP源代码
摘要：使用的是自己编译的HDP2.3.0的源代码编译的集群，此文介绍如何使用Eclipse远程调试Hadoop内核源代码，以调试namenode为例进行介绍。 在/usr/hdp/2.3.0.0-2557/hadoop-hdfs/bin/hdfs.distro 目录下，添加如下内容，这个内容是让namenode在启动的时候，打开调试模式： 图片中的代码是（不要写错了）... 阅读全文
posted @ 2016-03-21 11:25 justinzhang 阅读(1727) 评论(2) 推荐(0) 编辑
Hadoop源代码中的build-main.xml
摘要：在Hadoop的每一个Project中，都有build-main.xml，如下图所示： 这个文件其实是通过maven-ant插件生成的，在hadoop的每一个Maven工程中，都有一个pom文件，在pom.xml文件中，有mkdir dir的动作： 阅读全文
posted @ 2016-01-22 16:27 justinzhang 阅读(613) 评论(0) 推荐(0) 编辑
Hadoop 2.7.1 使用minicluster进行单元测试
摘要：目的是要跑通这个单元测试:hadoop-hdfs/src/test/java/org/apache/hadoop/hdfs/TestClose.java 这个Java文件比较简单： /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements... 阅读全文
posted @ 2016-01-21 16:09 justinzhang 阅读(3637) 评论(0) 推荐(0) 编辑
Hadoop 2.7.1 源代码目录结构分析
摘要：采用的源代码是2.7.1的，从这个网站下可以找到2.7.1的代码：https://git1-us-west.apache.org/ ，使用gitclone出来，然后git checkout到2.7.1的分支上： 整个hadoop项目包括了几十个文件目录，每一个目录一般都是一个Maven工程，这些maven工程之间存在依赖关系： 其中，Apache Hadoop Main是所有工程的父工程，它的p... 阅读全文
posted @ 2016-01-11 14:10 justinzhang 阅读(3399) 评论(0) 推荐(0) 编辑
修改hadoop FileUtil.java，解决权限检查的问题
摘要：在Hadoop Eclipse开发环境搭建这篇文章中，第15.）中提到权限相关的异常，如下： 15/01/30 10:08:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicab... 阅读全文
posted @ 2015-01-30 11:47 justinzhang 阅读(5155) 评论(0) 推荐(0) 编辑
Hadoop JobTracker和NameNode运行时参数查看
摘要：1）JobTracker运行时参数： hadoop@ubuntu:/home/zhangchao3$ ps -ef | grep job hadoop 29563 1 0 11:34 pts/12 00:00:24 /home/hadoop/jdk1.7.0_60/bin/java -Dproc_jobtracker -Xmx1000m -Dcom.sun.mana... 阅读全文
posted @ 2015-01-28 16:24 justinzhang 阅读(2300) 评论(0) 推荐(0) 编辑
Hadoop启动过程分析
摘要：先把客户端修好，后续慢慢写。 菊子曰：体验离线写博的乐趣 阅读全文
posted @ 2015-01-12 17:28 justinzhang 阅读(359) 评论(0) 推荐(0) 编辑