hadoop的mapFile，hadoop的io

本文内容来源于其他网页，参考的网址（转载请注明出处，谢谢）：

http://blog.nosqlfan.com/html/1217.html

http://hi.baidu.com/shirley_wheat/blog/item/ea89e76113ee30c98cb10d72.html

http://blog.csdn.net/sheperd_shu/article/details/6437845

http://hi.baidu.com/hpagent/blog/item/673f8b330d9c2bbd5fdf0e4a.html

1.Hadoop’s SequenceFile

SequenceFile 是 Hadoop 的一个重要数据文件类型，它提供key-value的存储，但与传统key-value存储（比如hash表，btree）不同的是，它是 appendonly的，于是你不能对已存在的key进行写操作。每一个key-value记录如下图，不仅保存了key，value值，也保存了他们的长度。

SequenceFile 有三种压缩态：

Uncompressed – 未进行压缩的状态
Record Compressed - 对每一条记录的value值进行了压缩（文件头中包含上使用哪种压缩算法的信息）
Block-Compressed – 当数据量达到一定大小后，将停止写入进行整体压缩，整体压缩的方法是把所有的keylength,key,vlength,value 分别合在一起进行整体压缩

文件的压缩态标识在文件开头的header数据中。

在header数据之后是一个Metadata数据，他是简单的属性/值对，标识文件的一些其他信息。Metadata 在文件创建时就写好了，所以也是不能更改的。

2.MapFile, SetFile, ArrayFile 及 BloomMapFile

SequenceFile 是Hadoop 的一个基础数据文件格式，后续讲的 MapFile, SetFile, ArrayFile 及 BloomMapFile 都是基于它来实现的。

MapFile – 一个key-value 对应的查找数据结构，由数据文件/data 和索引文件 /index 组成，数据文件中包含所有需要存储的key-value对，按key的顺序排列。索引文件包含一部分key值，用以指向数据文件的关键位置。
SetFile – 基于 MapFile 实现的，他只有key，value为不可变的数据。
ArrayFile – 也是基于 MapFile 实现，他就像我们使用的数组一样，key值为序列化的数字。
BloomMapFile – 他在 MapFile 的基础上增加了一个 /bloom 文件，包含的是二进制的过滤表，在每一次写操作完成时，会更新这个过滤表。

相应的demo代码

Hadoop MapFile的路径
2011-04-19 14:43

MapFile分data和index两个文件

读入只需给定dir

如果只读数据，可以用下面的方法得到datafile文件名，

Path MapDir = new Path(outFile);
Path MapData = new Path(MapDir , MapFile.DATA_FILE_NAME);

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.MapFile;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.util.ReflectionUtils;

 


public class Test{
 private static final String data[]={
  "One, two, buckle my shoe",
  "Three, four, shut the door",
  "Five, six, pick up sticks",
  "Seven, eight, lay them straight",
  "Nine, ten, a big fat hen"
 };
 public static class SequenceFileWriter{
 
  public void testWrite(String pt) throws Exception{
   String uri=pt;
   Configuration conf=new Configuration();
   FileSystem fs=FileSystem.get(URI.create(uri),conf);
   Path path=new Path(uri);
   IntWritable key=new IntWritable();
   Text value=new Text();
   SequenceFile.Writer writer=null;
   try{
    writer=SequenceFile.createWriter(fs,conf,path,key.getClass(),value.getClass());
    for(int i=0;i<100;i++){
     key.set(100-i);
     value.set(data[i%data.length]);
     System.out.printf("[%s]\t%s\t%s\n", writer.getLength(),key,value);
     writer.append(key,value);
    }
   }finally{
    IOUtils.closeStream(writer);
   }
  }
 }
 public static class SequenceFileReader {
  public void testRead(String p)throws Exception{
   String uri=p;
   Configuration conf=new Configuration();
   FileSystem fs=FileSystem.get(URI.create(uri),conf);
   Path path=new Path(uri);
   SequenceFile.Reader reader=null;
   try{
    reader=new SequenceFile.Reader(fs,path,conf);
    Writable key=(Writable)ReflectionUtils.newInstance(reader.getKeyClass(),conf);
    Writable value=(Writable)ReflectionUtils.newInstance(reader.getValueClass(), conf);
    long position=reader.getPosition();
    while(reader.next(key,value)){
     String syncSeen=reader.syncSeen()?"*":"#";
     System.out.printf("[%s%s]\t%s\t%s\n", position, syncSeen, key, value);
     position=reader.getPosition();
    }
   }finally{
    IOUtils.closeStream(reader);
   }
   
  }
  public void testReadBySeek(String p,long n)throws Exception{
   String uri=p;
   Configuration conf=new Configuration();
   FileSystem fs=FileSystem.get(URI.create(uri),conf);
   Path path=new Path(uri);
   SequenceFile.Reader reader=null;
   try{
    reader=new SequenceFile.Reader(fs, path, conf);
    Writable key=(Writable)ReflectionUtils.newInstance(reader.getKeyClass(), conf);
    Writable value=(Writable)ReflectionUtils.newInstance(reader.getValueClass(), conf);
    reader.sync(n);
    System.out.printf("seek to %d\n",n);
    long position=reader.getPosition();
    while(reader.next(key,value)){
     String syncSeen=reader.syncSeen()?"*":"";
     System.out.printf("[%s%s]\t%s\t%s\n", position, syncSeen, key, value);
     position=reader.getPosition();
    }
   }finally{
    IOUtils.closeStream(reader);
   }
  }
 }
 public static class MapFileWriter{
  public void testMapFileWirte(String filename) throws Exception{
   String uri=filename;
   Configuration conf=new Configuration();
   FileSystem fs=FileSystem.get(URI.create(uri),conf);
   
   IntWritable key=new IntWritable();
   Text value=new Text();
   MapFile.Writer writer=null;
   try{
    writer=new MapFile.Writer(conf,fs,uri,key.getClass(),value.getClass());
    for(int i=0;i<1024;i++){
     key.set(i+1);
     value.set(data[i%data.length]);
     writer.append(key, value);
    }
   }finally{
    IOUtils.closeStream(writer);
   }
  }
 }
 public static class MapFileReader{
  public void testMapFileRead(String filename) throws Exception{
   String uri=filename;
   Configuration conf=new Configuration();
   FileSystem fs=FileSystem.get(URI.create(uri),conf);
   
   IntWritable key=new IntWritable();
   Text value=new Text();
   MapFile.Reader reader=null;
   long position=0;
   try{
    reader=new MapFile.Reader(fs,uri,conf);
    while(reader.next(key, value)){
     System.out.printf("[%s]\t%s\t%s\n", ++position,  key, value);

    }
   }finally{
    IOUtils.closeStream(reader);
   }
  }
 }
 public static void main(String[] args) throws Exception{
  // TODO Auto-generated method stub
       SequenceFileWriter writer=new SequenceFileWriter();
            writer.testWrite("numer.seq");  ////////////写顺序文件 
     SequenceFileReader reader=new SequenceFileReader();
      reader.testRead("numer.seq");   /////////////////读顺序文件 
     reader.testReadBySeek("numer.seq", 4000L);//至少得从 128处开始，因为头部占据了那么多
  
   MapFileWriter writer=new MapFileWriter();
    writer.testMapFileWirte("numers.map");  ////////写mapfile
 MapFileReader reader=new MapFileReader();
    reader.testMapFileRead("numers.map");   
 }

}

posted @ 2011-07-15 14:14 xiao晓阅读(2263) 评论(0) 编辑收藏举报

刷新页面返回顶部

xiao晓

serendipity

hadoop的mapFile，hadoop的io

1.Hadoop’s SequenceFile

2.MapFile, SetFile, ArrayFile 及 BloomMapFile

公告