课堂练习----单词统计

　　用户需求：

英语的26 个字母的频率在一本小说中是如何分布的？某类型文章中常出现的单词是什么？某作家最常用的词汇是什么？《哈利波特》 中最常用的短语是什么，等等。我们就写一些程序来解决这个问题，满足一下我们的好奇心。

　　第0步：输出某个英文文本文件中 26 字母出现的频率，由高到低排列，并显示字母出现的百分比，精确到小数点后面两位。字母频率 = 这个字母出现的次数 / （所有A-Z，a-z字母出现的总数）如果两个字母出现的频率一样，那么就按照字典序排列。  如果 S 和 T 出现频率都是 10.21%， 那么， S 要排在T 的前面。

　　第1步：输出单个文件中的前 N 个最常出现的英语单词。作用：一个用于统计文本文件中的英语单词出现频率。单词：以英文字母开头，由英文字母和字母数字符号组成的字符串视为一个单词。单词以分隔符分割且不区分大小写。在输出时，所有单词都用小写字符表示。英文字母：A-Z，a-z字母数字符号：A-Z，a-z，0-9

　　第2步：输出单个文件中的前 N 个最常出现的英语单词。分割符：空格,非字母数字符号 例：good123是一个单词，123good不是一个单词。good，Good和GOOD是同一个单词。

 

readFromFile.java

import java.io.BufferedReader; 
import java.io.File; 
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter; 
//import java.io.Reader; 
//从文本文档中读入
public class readFromFile {
    public static String readTxtFile(String filePath){ 
    try { 
        String encoding="GBK"; 
        File file=new File(filePath); 
        if(file.isFile() && file.exists()){ //判断文件是否存在 
        InputStreamReader read = new InputStreamReader( 
        new FileInputStream(file),encoding);//考虑到编码格式 
        BufferedReader bufferedReader = new BufferedReader(read); 
        String lineTxt = null;
        String lineText="";
        while((lineTxt = bufferedReader.readLine()) != null)
            { 
            lineText+=(lineTxt); 
            } 
        read.close(); 
        return lineText;
        }
        else
            { 
            System.out.println("找不到指定的文件"); 
            } 
        } catch (Exception e) { 
        System.out.println("读取文件内容出错"); 
        e.printStackTrace(); 
        } 
        return null;
    } 
    public static void daochu(String a) throws IOException
    {
        File file=new File("b.txt");
        FileOutputStream fos=new FileOutputStream(file);
        OutputStreamWriter osw = new OutputStreamWriter(fos,"UTF-8");
        osw.append(a);
        osw.close();
        fos.close();
    }
}

Text.java

import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.text.DecimalFormat;
import java.text.NumberFormat;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.Scanner;
public class Text {
static int N=5;
public static String StatList(String str) {
    StringBuffer sb = new StringBuffer();
    HashMap<String ,Integer> has = new HashMap<String ,Integer> (); // 打开一个哈希表
    String[] slist = str.split("[^a-zA-Z\']+");
    for (int i = 0; i < slist.length; i++) 
    {
        if (!has.containsKey(slist[i])) 
        { 
               has.put(slist[i], 1);
        } 
        else 
        {
               has.put(slist[i],has.get(slist[i])+1 );
        }
    }
    Iterator<String> iterator = has.keySet().iterator();
    String a[]=new String[100];
    int s[]=new int[100];
    int judge;
    int n;
    Scanner in=new Scanner(System.in);
    System.out.println("输入前n个最常出现的单词:");
    n=in.nextInt();
    for(int i=0;i<n;i++)
    {
        iterator = has.keySet().iterator();
        while(iterator.hasNext())
        {
            String word = (String) iterator.next();
            if(s[i]<has.get(word))
            {
                s[i]=has.get(word);
                a[i]=word;
            }
         }
        judge=woor(a[i]);
        if(judge==1)
        {
            n++;
            has.remove(a[i]);
        }
        else
        {
         sb.append("单词：").append(a[i]).append(" 次数").append(has.get(a[i])).append("\r\n");
         has.remove(a[i]);
        }
    }
         return sb.toString();
    }


    public static void main(String[] args) 
    {
        File file = new File("a");
        // TODO Auto-generated method stub
//        ArrayList<String> fil=getFiles("a");//目录下的文件
        ArrayList<String> fil=getDirectory(file);//目录下的文件和子目录里的文件
        for(int i=0;i<fil.size();i++)
        {
        String filePath = fil.get(i);
        String sz=writeFromFile.readTxtFile(filePath);
        zimu(filePath);
        String ltxt=null;
        System.out.println(ltxt=StatList(sz)); 
        try {
        writeFromFile.daochu(ltxt);
        } catch (IOException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
        }
        }
    }
    public static int woor(String a)
    {
        int n=0;
        String[] biao= {"a","the","an"};
        for(int i=0;i<biao.length;i++)
        {
            if(biao[i].equals(a))
            {
                n=1;
            }
        }
        return n;
    }
    public static ArrayList<String> getFiles(String path) {
        ArrayList<String> files = new ArrayList<String>();
        File file = new File(path);
        File[] tempList = file.listFiles();
        for (int i = 0; i < tempList.length; i++) {
            if (tempList[i].isFile()) {
                files.add(tempList[i].toString());
            }
            if (tempList[i].isDirectory()) {
            }
        }
        return files;
    }
    private static ArrayList<String> getDirectory(File file) {
        ArrayList<String> files = new ArrayList<String>();
        ArrayList<String> files1 = new ArrayList<String>();
        //获取该目录下的文件列表
        File flist[] = file.listFiles();
        for (File f : flist) {
            if (f.isDirectory()) {
                // 如果f是一个目录
                files1=getFiles(f.getAbsolutePath());
                files.addAll(files1);
               
                getDirectory(f);
            } else {
                //如果f是一个文件
                files.add(f.getAbsolutePath());
            }
        }
        return files;
    }
    public static void zimu(String path)
    {
        try {
            //IO操作读取文件内容
            FileReader fr = new FileReader(path);
            BufferedReader br = new BufferedReader(fr);
            DecimalFormat df = new DecimalFormat("#.00");
            HashMap<String, Integer> map = new HashMap<String, Integer>();
            
            String string =null;
            Integer count = 0;//每个字母的次数
            Integer total = 0;//总共多少个字母
            
            try {
                while ((string=br.readLine())!=null) {
                    char[] ch = string.toCharArray();
                    
                    for (int i = 0; i < ch.length; i++) {
                        if (ch[i] > 'A' && ch[i]< 'z') {
                            
                        total++;
                        ch[i] = Character.toLowerCase(ch[i]);
                        count = map.get(ch[i]+"");
                        if (count == null) {
                            count = 1;
                        }else {
                            count++;
                        }
                        map.put(ch[i]+"", count);
                    }
                    }
                }
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
             ArrayList<String> list = new ArrayList<String>();
             list.addAll(map.keySet());  //将单词添加到list中
             NumberFormat numberFormat = NumberFormat.getInstance();
             
            // 设置精确到小数点后2位
     
            numberFormat.setMaximumFractionDigits(2);
             
             //排序按照出现次数降序排列
             for(int i = 0;i < list.size();i++)
             {
                 
                 for(int j = 0;j < (list.size() - i-1);j++)     //list.size() - i-1因为要用到i+1要考虑是否超出范围的问题
                 {
                     
                     if(map.get(list.get(j)) < map.get(list.get(j+1)))
                     {
                         String t = list.get(j);
                         list.set(j, list.get(j+1));
                         list.set( j+1, t);
                     }
                 }
             }
             for(int i = 0 ; i < list.size();i++)
                {
                 
                    System.out.println(list.get(i) + ":" + map.get(list.get(i)) +"   "+ df.format(((float)map.get(list.get(i)))*100/total) + "%");
                }
            
            
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
    


}