一个文本单词统计的案例

这次软件工程的一个个人项目是一个文本单词统计的小程序。

 

时间	8：00-9:00	9：00-10:45	11:00-15:00	次日8：00-9:30	10:00-11:30
动作	查阅资料	对1、2两部分代码的完成	对出现问题部分的调试	通过讨论完成调试	完善代码

因此它要实现的是读取文件，并能统计其中不同单词出现的次数，并按照由高到低的出现频数排序，并输出前10的单词及其出现的次数。

通过分析，则要实现以下2步:

1.对文本文件的读取，将一个一个的单词分离出来，并对单词进行统计。

在这里我们要用到文件的输入输出流（以下为部分主要代码）：

TreeMap<String, Integer> map = new TreeMap<String,Integer >();
        try 
        {
            fr=new BufferedReader(new FileReader(filename));
            System.out.println("======================");
            String len;
            while((len=fr.readLine())!=null)
            {
                word=len.split(" |,");
                System.out.println(len);
                for( i=0;i<(word).length;i++)
                {
                    String key=((word))[i].toLowerCase();
                    if(((word))[i].length()>0)
                    {
                        if(map.get(key)==null)
                        {    
                            map.put(key, 1);cd++;
                        }
                        else
                        {
                            int value=map.get(key).intValue();
                            value++;
                            map.put(key, value);
                        }
                    }
                }
            }
            System.out.println("======================");
        } 
        catch (Exception e) 
        {
            System.out.println("出现异常！"+e.toString());
             check=false;
            // TODO: handle exception
        }

在这里其实用到了java中的map集的结构。通过生成一个新的treemap对象，将单词及单词出现的次数分别对应到treemap<String,Integer>中，这样的结构方便使用（当然在排序是并未有很好的作用）。值得注意的是：map这样的泛型集有多种：Hashmap,Treemap等等。Treemap 的特点就是在输出时它是按照key值进行排序输出，及在这里它可以按照单词首字母排序输出。

2.对单词出现的次数进行排序。

if(check!=false)
    {
        try
        {
            System.out.println("单词的个数为（不重复的）："+cd);
        }catch(Exception e2)
        {
            System.out.println("异常处理2");
        }
        
        Iterator<String> it=  map.keySet().iterator();
        
        Integer tempcount;
        String tempname=null;
        Integer[] sortc=new Integer[cd];
        String[] sortn = new String[cd] ;
        i=0;
        while(it.hasNext()){
            
            String name = (String) it.next();
            Integer count=map.get(name);
            sortc[i]=count;
            sortn[i]=name;
            i++;
        }
        for(i=0;i<cd-1;i++)
        {
            for(j=0;j<cd-i-1;j++)
            {
                if((sortc)[j]<(sortc)[j+1])
                {
                    tempname=(sortn)[j];
                    tempcount=(sortc)[j];
                    (sortn)[j]=(sortn)[j+1];
                    (sortc)[j]=(sortc)[j+1];
                    ((sortn))[j+1]=tempname;
                    (sortc)[j+1]=tempcount;
                }
            }
        }
        System.out.println("输出出现次数最高的10个单词：");
        for(i=0;i<10;i++)
        {
            System.out.println((sortn)[i].toString()+"\t"+"       \t "+(sortc)[i]);
        }
     }
   }

在这里使用的是冒泡排序法，这样的效率会高一点。通过将treemap中的数据一一对应到两个数组中（注意：前面要统计好数组的长度，这样才能很好地定义数组）。

现在将完整的代码贴上：

import java.io.*;
import java.io.FileReader;
import java.util.*;
public class test1 {
    public static void main(String[] args) {
        System.out.println("请输入文件完整路径及名称");
        Scanner in = new Scanner(System.in);
        String filename=in.next();
        System.out.println(filename);
        BufferedReader fr=null;
        String[] word = null;
        int i = 0,j;
        int cd=0;
        boolean check=true;
        TreeMap<String, Integer> map = new TreeMap<String,Integer >();
        try 
        {
            fr=new BufferedReader(new FileReader(filename));
            System.out.println("======================");
            String len;
            while((len=fr.readLine())!=null)
            {
                word=len.split(" |,");
                System.out.println(len);
                for( i=0;i<(word).length;i++)
                {
                    String key=((word))[i].toLowerCase();
                    if(((word))[i].length()>0)
                    {
                        if(map.get(key)==null)
                        {    
                            map.put(key, 1);cd++;
                        }
                        else
                        {
                            int value=map.get(key).intValue();
                            value++;
                            map.put(key, value);
                        }
                    }
                }
            }
            System.out.println("======================");
        } 
        catch (Exception e) 
        {
            System.out.println("出现异常！"+e.toString());
             check=false;
            // TODO: handle exception
        }
        /*for(i=0;i<word.length;i++)
        {
            if(word[i].contains(","))
            {
                pureword=word[i].split(",");
            }
        }*/
    if(check!=false)
    {
        try
        {
            System.out.println("单词的个数为（不重复的）："+cd);
        }catch(Exception e2)
        {
            System.out.println("异常处理2");
        }
        
        Iterator<String> it=  map.keySet().iterator();
        
        Integer tempcount;
        String tempname=null;
        Integer[] sortc=new Integer[cd];
        String[] sortn = new String[cd] ;
        i=0;
        while(it.hasNext()){
            
            String name = (String) it.next();
            Integer count=map.get(name);
            sortc[i]=count;
            sortn[i]=name;
            i++;
        }
        for(i=0;i<cd-1;i++)
        {
            for(j=0;j<cd-i-1;j++)
            {
                if((sortc)[j]<(sortc)[j+1])
                {
                    tempname=(sortn)[j];
                    tempcount=(sortc)[j];
                    (sortn)[j]=(sortn)[j+1];
                    (sortc)[j]=(sortc)[j+1];
                    ((sortn))[j+1]=tempname;
                    (sortc)[j+1]=tempcount;
                }
            }
        }
        System.out.println("输出出现次数最高的10个单词：");
        for(i=0;i<10;i++)
        {
            System.out.println((sortn)[i].toString()+"\t"+"       \t "+(sortc)[i]);
        }
     }
   }
}

最后总结本次的个人项目：
在周四得知题目后，大致的将思路及方法理了一次。在有方法的前提下预估了本次实验完成时间为0.5人日，即4-6个小时的时间。但周六实际操作中也遇到问题，在解决问题上花费的时间很多，到周日上午才基本完成。在单词出现次数的统计这一块顺利完成，而排序是一个卡壳的地方。在想好用数组将treemap中的数据“导出”后，便确定了用冒泡排序法来进行排序。但问题恰恰出现在“导出”上。其实这里的“导出”就是将treemap中的<String,Integer>两种数据类型放置到String[]、int[]两个数组中。但出现nullpointerException的异常（空指针异常）就是在数组的初始化上出现了问题，因为我直接是这样定义的：String[] sortn=null; int[] sortc=null。其实应当要赋给一个确定的长度值。int[] sortc=new int[20];这样的才正确。为了不浪费空间及提高效率，我在单词统计之前就将不重复单词个数cd统计出来，这样就可以不浪费数组空间并能提高效率了。

 不过程序还存在明显的缺陷，即单词的判断上会出现差错（当符号与单词紧邻时无法正确的“剥离”出单词来）。

因此程序需要不断的检查，使其变得更好，正确完整的预计时间是很好解决问题的一个方法。