软件工程课堂八（单词统计续）

第1步：输出单个文件中的前 N 个最常出现的英语单词。

功能1：输出文件中所有不重复的单词，按照出现次数由多到少排列，出现次数同样多的，以字典序排列。

功能2： 指定文件目录，对目录下每一个文件执行统计的操作。 

功能3：指定文件目录，是会递归遍历目录下的所有子目录的文件进行统计单词的功能。

功能4：输出出现次数最多的前 n 个单词， 

 例如， 提示统计统计前多少名：输入10。 就是输出最常出现单词的前 10 名。 当没有指明数量的时候，我们默认列出所有单词的频率。

第2步：第二步:  支持 stop words

在一本小说里， 频率出现最高的单词一般都是 "a",  "it", "the", "and", "this", 这些词， 可以做一个 stop word 文件 （停词表）， 在统计词汇的时候，跳过这些词。  我们把这个文件叫 "stopwords.txt" file.  

第三步:  想看看常用的短语是什么， 怎么办呢？  

先定义短语："两个或多个英语单词， 它们之间只有空格分隔".   请看下面的例子：

 

　　hello world   //这是一个短语

 

　　hello, world //这不是一个短语

 

同一频率的词组， 按照字典序来排列。

第四步：把动词形态都统一之后再计数。

想找到常用的单词和短语，但是发现英语动词经常有时态和语态的变化，导致同一个词，同一个短语却被认为是不同的。 怎么解决这个问题呢？

假设我们有这样一个文本文件，这个文件的每一行都是这样构成：

动词原型  动词变形1 动词变形2... ，词之间用空格分开。

e.g.  动词 TAKE 有下面的各种变形：take takes took taken taking

我们希望在实现上面的各种功能的时候，有一个选项， 就是把动词的各种变形都归为它的原型来统计。  

功能 支持动词形态的归一化，

按照以上的步骤下面是我的部分代码：

 

package 统计分析;
  import java.io.*;
  import java.util.*;
  public class tongjifenxi {
  public static <type> void main (String[] args)throws FileNotFoundException {
      File file=new File("D://飘.txt");                  //读取文件
          if(!file.exists()){//如果文件打不开或不存在则提示错误
             System.out.println("文件不存在");
              return;
         }   
         Scanner x=new Scanner(file);
         HashMap<String,Integer> hashMap=new HashMap<String,Integer>();
      while(x.hasNextLine()) {
      String line=x.nextLine();
      String[] lineWords=line.split("\\W+");          
      Set<String> wordSet=hashMap.keySet();
            for(int i=0;i<lineWords.length;i++) {
                if(wordSet.contains(lineWords[i])) {
                    Integer number=hashMap.get(lineWords[i]);
                    number++;
                     hashMap.put(lineWords[i], number);  
                    }
                 else {
                    hashMap.put(lineWords[i], 1);
                 }
           }
       }
        Iterator<String> iterator=hashMap.keySet().iterator();
         int max=0;
         String maxword=null;
         while(iterator.hasNext()){
            String word=iterator.next();
             if(hashMap.get(word)>max) {//比较出现次数最多的单词
                 max=hashMap.get(word);
                 maxword=word; 
           }
         }          System.out.println("本篇文章中出现次数最多的单词是"+maxword);
        System.out.println("共出现了"+max+"次");
    }
private static void calculate(File file, String letter) {
    // TODO 自动生成的方法存根
    
}
 }