随笔分类 -  hadoop

Hadoop源码分析：Hadoop编程思想
摘要：60页的ppt讲述Hadoop的编程思想 下载地址 http://download.csdn.net/detail/popsuper1982/9544904 阅读全文
posted @ 2016-06-14 20:50 popsuper1982 阅读(500) 评论(0) 推荐(0) 编辑
Hadoop源码分析(3): Hadoop的运行痕迹
摘要：在使用hadoop的时候，可能遇到各种各样的问题，然而由于hadoop的运行机制比较复杂，因而出现了问题的时候比较难于发现问题。 本文欲通过某种方式跟踪Hadoop的运行痕迹，方便出现问题的时候可以通过这些痕迹来解决问题。 一、环境的搭建 为了能够跟踪这些运行的痕迹，我们需要搭建一个特殊的环境，从而 阅读全文
posted @ 2016-06-14 20:49 popsuper1982 阅读(449) 评论(0) 推荐(0) 编辑
hadoop源码分析(2)：Map-Reduce的过程解析
摘要：一、客户端 Map-Reduce的过程首先是由客户端提交一个任务开始的。 提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的： public static RunningJob runJob(JobConf job) throws IOException { //首先 阅读全文
posted @ 2016-06-14 20:48 popsuper1982 阅读(944) 评论(0) 推荐(0) 编辑
Hadoop源码分析(1)：HDFS读写过程解析
摘要：一、文件的打开 1.1、客户端 HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为： public FSDataInputStream open(Path f, int bufferSize) thro 阅读全文
posted @ 2016-06-14 20:46 popsuper1982 阅读(4542) 评论(1) 推荐(1) 编辑

点击右上角即可分享
微信分享提示