2013年7月11日

Hadoop数据容错机制探索资料

摘要: HDFS的基本概念,文件的读取和写入,打开;客户端。HDFS读写相关的类-DataXceiverServer功能描述:DataXceiverServer类是DataNode的辅助类,它最主要是用来实现客 户端或其他数据节点与当前节点通信,并负责接收/发送数据块。这个类的创建是为了监听来自客户端或其他数据节点的请求。 它的实现通信的方法不是用hadoop IPC,而是用jdk本身就有的ServerSocket。HDFS dfsclient读文件过程 源码分析hadoop笔记开发一个PutMerge程序,用于合并本地文件后放入HDFS,因为大文件HDFS处理起来比较容易,所以这个程序经常会在以后的 阅读全文

posted @ 2013-07-11 21:41 lyeoswu 阅读(271) 评论(0) 推荐(0) 编辑

hadoop-wordcount

摘要: package org.apache.hadoop.examples;//压缩包为examples,在hadoop整个项目中添加到一个包import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hado 阅读全文

posted @ 2013-07-11 17:29 lyeoswu 阅读(236) 评论(0) 推荐(0) 编辑

导航