第1步:输出单个文件中的前 N 个最常出现的英语单词。
功能1:输出文件中所有不重复的单词,按照出现次数由多到少排列,出现次数同样多的,以字典序排列。
功能2: 指定文件目录,对目录下每一个文件执行统计的操作。
功能3:指定文件目录,是会递归遍历目录下的所有子目录的文件进行统计单词的功能。
功能4:输出出现次数最多的前 n 个单词,
例如, 提示统计统计前多少名:输入10。 就是输出最常出现单词的前 10 名。 当没有指明数量的时候,我们默认列出所有单词的频率。
第2步:第二步: 支持 stop words
在一本小说里, 频率出现最高的单词一般都是 "a", "it", "the", "and", "this", 这些词, 可以做一个 stop word 文件 (停词表), 在统计词汇的时候,跳过这些词。 我们把这个文件叫 "stopwords.txt" file.
第三步: 想看看常用的短语是什么, 怎么办呢?
先定义短语:"两个或多个英语单词, 它们之间只有空格分隔". 请看下面的例子:
hello world //这是一个短语
hello, world //这不是一个短语
同一频率的词组, 按照字典序来排列。
第四步:把动词形态都统一之后再计数。
想找到常用的单词和短语,但是发现英语动词经常有时态和语态的变化,导致同一个词,同一个短语却被认为是不同的。 怎么解决这个问题呢?
假设我们有这样一个文本文件,这个文件的每一行都是这样构成:
动词原型 动词变形1 动词变形2... ,词之间用空格分开。
e.g. 动词 TAKE 有下面的各种变形:take takes took taken taking
我们希望在实现上面的各种功能的时候,有一个选项, 就是把动词的各种变形都归为它的原型来统计。
功能 支持动词形态的归一化
test1.java(读取文件) package ceshi; import java.io.File; import java.io.IOException; import java.util.ArrayList; import java.util.HashMap; import java.util.Iterator; import java.util.Scanner; public class zhu1 { public static String StatList(String str) { StringBuffer sb = new StringBuffer(); HashMap<String ,Integer> has = new HashMap<String ,Integer> (); // 打开一个哈希表 String[] slist = str.split("[^a-zA-Z\']+"); for (int i = 0; i < slist.length; i++) { if (!has.containsKey(slist[i])) { has.put(slist[i], 1); } else { has.put(slist[i],has.get(slist[i])+1 ); } } Iterator<String> iterator = has.keySet().iterator(); String a[]=new String[100]; int s[]=new int[100]; int n=15; int judge; Scanner in=new Scanner(System.in); System.out.println("输入你想要的前n个最常出现的单词个数:"); n=in.nextInt(); for(int i=0;i<n;i++) { iterator = has.keySet().iterator(); while(iterator.hasNext()) { String word = (String) iterator.next(); if(s[i]<has.get(word)) { s[i]=has.get(word); a[i]=word; } } judge=woor(a[i]); if(judge==1) { n++; has.remove(a[i]); } else { sb.append("单词:").append(a[i]).append(" 次数").append(has.get(a[i])).append("\r\n"); has.remove(a[i]); } } return sb.toString(); } public static void main(String[] args) { File file = new File("F:\\文件"); ArrayList<String> fil=getDirectory(file);//目录下的文件和子目录里的文件 for(int i=0;i<fil.size();i++) { String filePath = fil.get(i); //String filePath = "d:\\文件\\单词.txt"; String sz=zhu2.readTxtFile(filePath); String ltxt=null; System.out.println(ltxt=StatList(sz)); try { zhu2.daochu(ltxt); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } } public static int woor(String a) { int n=0; String[] biao= {"a","the","an","and"}; for(int i=0;i<biao.length;i++) { if(biao[i].equals(a)) { n=1; } } return n; } public static ArrayList<String> getFiles(String path) { ArrayList<String> files = new ArrayList<String>(); File file = new File(path); File[] tempList = file.listFiles(); for (int i = 0; i < tempList.length; i++) { if (tempList[i].isFile()) { files.add(tempList[i].toString()); } if (tempList[i].isDirectory()) { } } return files; } private static ArrayList<String> getDirectory(File file) { ArrayList<String> files = new ArrayList<String>(); ArrayList<String> files1 = new ArrayList<String>(); //获取该目录下的文件列表 File flist[] = file.listFiles(); for (File f : flist) { if (f.isDirectory()) { // 如果f是一个目录 files1=getFiles(f.getAbsolutePath()); files.addAll(files1); getDirectory(f); } else { //如果f是一个文件 files.add(f.getAbsolutePath()); } } return files; } } test2.java(文件输出) package ceshi; import java.io.File; import java.io.IOException; import java.util.ArrayList; import java.util.HashMap; import java.util.Iterator; import java.util.Scanner; public class zhu1 { public static String StatList(String str) { StringBuffer sb = new StringBuffer(); HashMap<String ,Integer> has = new HashMap<String ,Integer> (); // 打开一个哈希表 String[] slist = str.split("[^a-zA-Z\']+"); for (int i = 0; i < slist.length; i++) { if (!has.containsKey(slist[i])) { has.put(slist[i], 1); } else { has.put(slist[i],has.get(slist[i])+1 ); } } Iterator<String> iterator = has.keySet().iterator(); String a[]=new String[100]; int s[]=new int[100]; int n=15; int judge; Scanner in=new Scanner(System.in); System.out.println("输入你想要的前n个最常出现的单词个数:"); n=in.nextInt(); for(int i=0;i<n;i++) { iterator = has.keySet().iterator(); while(iterator.hasNext()) { String word = (String) iterator.next(); if(s[i]<has.get(word)) { s[i]=has.get(word); a[i]=word; } } judge=woor(a[i]); if(judge==1) { n++; has.remove(a[i]); } else { sb.append("单词:").append(a[i]).append(" 次数").append(has.get(a[i])).append("\r\n"); has.remove(a[i]); } } return sb.toString(); } public static void main(String[] args) { File file = new File("F:\\文件"); // // TODO Auto-generated method stub // ArrayList<String> fil=getFiles("d:\\文件");//目录下的文件 ArrayList<String> fil=getDirectory(file);//目录下的文件和子目录里的文件 for(int i=0;i<fil.size();i++) { String filePath = fil.get(i); //String filePath = "d:\\文件\\单词.txt"; String sz=zhu2.readTxtFile(filePath); String ltxt=null; System.out.println(ltxt=StatList(sz)); try { zhu2.daochu(ltxt); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } } public static int woor(String a) { int n=0; String[] biao= {"a","the","an","and"}; for(int i=0;i<biao.length;i++) { if(biao[i].equals(a)) { n=1; } } return n; } public static ArrayList<String> getFiles(String path) { ArrayList<String> files = new ArrayList<String>(); File file = new File(path); File[] tempList = file.listFiles(); for (int i = 0; i < tempList.length; i++) { if (tempList[i].isFile()) { files.add(tempList[i].toString()); } if (tempList[i].isDirectory()) { } } return files; } private static ArrayList<String> getDirectory(File file) { ArrayList<String> files = new ArrayList<String>(); ArrayList<String> files1 = new ArrayList<String>(); //获取该目录下的文件列表 File flist[] = file.listFiles(); for (File f : flist) { if (f.isDirectory()) { // 如果f是一个目录 files1=getFiles(f.getAbsolutePath()); files.addAll(files1); getDirectory(f); } else { //如果f是一个文件 files.add(f.getAbsolutePath()); } } return files; } }