使用Lucene 3.0.0的结构遍历TokenStream的内容.

    以前版本的Lucene是用TokenStream.next()来遍历TokenStream的内容, 目前的版本稍微修改了一下, 使用下面的的一段程序可以遍历TokenStream的内容

private static void displayTokenStream(TokenStream ts) throws IOException
{
  TermAttribute termAtt = (TermAttribute)ts.getAttribute(TermAttribute.class);
  TypeAttribute typeAtt = (TypeAttribute)ts.getAttribute(TypeAttribute.class);

  while (ts.incrementToken())
  {
      System.out.print(termAtt.term());
      System.out.print(' ');
      System.out.println(typeAtt.type());
  }
  System.out.println(' ');
}