Hadoop数据容错机制探索资料

 

  1. HDFS的基本概念，文件的读取和写入，打开；客户端。

  2. HDFS读写相关的类-DataXceiverServer功能描述：DataXceiverServer类是DataNode的辅助类，它最主要是用来实现客 户端或其他数据节点与当前节点通信，并负责接收/发送数据块。这个类的创建是为了监听来自客户端或其他数据节点的请求。 它的实现通信的方法不是用hadoop IPC，而是用jdk本身就有的ServerSocket。

  3. HDFS dfsclient读文件过程 源码分析
  4. hadoop笔记
  5. 开发一个PutMerge程序，用于合并本地文件后放入HDFS，因为大文件HDFS处理起来比较容易，所以这个程序经常会在以后的开发中用到
  6. NameNode的代码骨架，FSNamesystem是文件系统命名空间系统类，FSDirectory保存文件名到文件块的映射，并且把hdfs的修改写入到磁盘。
  7. Hadoop API

posted on 2013-07-11 21:41  lyeoswu  阅读(271)  评论(0)  编辑  收藏  举报

导航