Hadoop数据容错机制探索资料
摘要:
HDFS的基本概念,文件的读取和写入,打开;客户端。HDFS读写相关的类-DataXceiverServer功能描述:DataXceiverServer类是DataNode的辅助类,它最主要是用来实现客 户端或其他数据节点与当前节点通信,并负责接收/发送数据块。这个类的创建是为了监听来自客户端或其他数据节点的请求。 它的实现通信的方法不是用hadoop IPC,而是用jdk本身就有的ServerSocket。HDFS dfsclient读文件过程 源码分析hadoop笔记开发一个PutMerge程序,用于合并本地文件后放入HDFS,因为大文件HDFS处理起来比较容易,所以这个程序经常会在以后的 阅读全文
posted @ 2013-07-11 21:41 lyeoswu 阅读(271) 评论(0) 推荐(0) 编辑