单词统计续
第1步：输出单个文件中的前 N 个最常出现的英语单词。
功能1：输出文件中所有不重复的单词，按照出现次数由多到少排列，出现次数同样多的，以字典序排列。
功能2： 指定文件目录，对目录下每一个文件执行统计的操作。
功能3：指定文件目录，是会递归遍历目录下的所有子目录的文件进行统计单词的功能。
功能4：输出出现次数最多的前 n 个单词，
例如， 提示统计统计前多少名：输入10。 就是输出最常出现单词的前 10 名。 当没有指明数量的时候，我们默认列出所有单词的频率。
第2步：第二步: 支持 stop words
在一本小说里， 频率出现最高的单词一般都是 "a", "it", "the", "and", "this", 这些词， 可以做一个 stop word 文件 （停词表）， 在统计词汇的时候，跳过这些词。 我们把这个文件叫 "stopwords.txt" file.
第三步: 想看看常用的短语是什么， 怎么办呢？
先定义短语："两个或多个英语单词， 它们之间只有空格分隔". 请看下面的例子：
hello world //这是一个短语
hello, world //这不是一个短语
同一频率的词组， 按照字典序来排列。
第四步：把动词形态都统一之后再计数。
想找到常用的单词和短语，但是发现英语动词经常有时态和语态的变化，导致同一个词，同一个短语却被认为是不同的。 怎么解决这个问题呢？
假设我们有这样一个文本文件，这个文件的每一行都是这样构成：
动词原型 动词变形1 动词变形2... ，词之间用空格分开。
e.g. 动词 TAKE 有下面的各种变形：take takes took taken taking
我们希望在实现上面的各种功能的时候，有一个选项， 就是把动词的各种变形都归为它的原型来统计。
功能 支持动词形态的归一化
package dancijiehe;
import dancijiehe.dancijiehe1;
import dancijiehe.dancijiehe;
import java.util.Scanner;
public class Jiehe{
public static void main(String [] args) throws Exception {
Scanner s=new Scanner(System.in);
dancijiehe1 p1=new dancijiehe1();
dancijiehe p=new dancijiehe();
dancijiehe2 p2=new dancijiehe2();
int i=4;
while(i!=0) {
System.out.println("请选择要完成的操作");
System.out.println("1、输出各字母出现的次数");
System.out.println("2、输出前n个单词出现的次数");
System.out.println("3、输出所有单词出现的次数");
int x=s.nextInt();
if(x==1) {
p1.main(args);
}
else if(x==2)
{
p.main(args);
}
else if(x==3) {
p2.main(args);
}
}
}
}
package dancijiehe;
import java.io.BufferedReader;
import java.io.FileReader;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.List;
import java.util.Map;
import java.util.TreeMap;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class dancijiehe {
public static void main(String[] args) throws Exception {
BufferedReader reader = new BufferedReader(new FileReader(
"E:\\飘.txt"));
StringBuffer buffer = new StringBuffer();
String line = null;
while ((line = reader.readLine()) != null) {
buffer.append(line);
}
reader.close();
Pattern expression = Pattern.compile("[a-zA-Z]+");// 定义正则表达式匹配单词
String string = buffer.toString();
Matcher matcher = expression.matcher(string);//
Map<String, Integer> map = new TreeMap<String, Integer>();
String word = "";
int times = 0;
while (matcher.find()) {// 是否匹配单词
word = matcher.group();// 得到一个单词-树映射的键
if (map.containsKey(word)) {// 如果包含该键，单词出现过
times = map.get(word);// 得到单词出现的次数
map.put(word, times + 1);
} else {
map.put(word, 1);// 否则单词第一次出现，添加到映射中
}
}
/*
* 核心：如何按照TreeMap 的value排序而不是key排序.将Map.Entry放在集合里， 重写比较器，在用
* Collections.sort(list, comparator);进行 排序
*/
List<Map.Entry<String, Integer>> list = new ArrayList<Map.Entry<String, Integer>>(
map.entrySet());
/*ZZZZZZZZZZZZZZZ
* 重写比较器
* 取出单词个数（value）比较
*/
Comparator<Map.Entry<String, Integer>> comparator = new Comparator<Map.Entry<String, Integer>>() {
public int compare(Map.Entry<String, Integer> left,
Map.Entry<String, Integer> right) {
return (left.getValue()).compareTo(right.getValue());
}
};
Collections.sort(list, comparator);// 排序
int last = list.size() - 1;
for (int i = last; i > last - 1000; i--) {
String key = list.get(i).getKey();
Integer value = list.get(i).getValue();
System.out.println(key + " :" + value);
}
}
}
package dancijiehe;
import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.text.NumberFormat;
public class dancijiehe1 {
private static String formattedDecimalToPercentage(double decimal)
{
//获取格式化对象
NumberFormat nt = NumberFormat.getPercentInstance();
//设置百分数精确度2即保留两位小数
nt.setMinimumFractionDigits(2);
return nt.format(decimal);
}
public static void main(String []args) {
String a1;
char a='A';
int a2[]=new int[27];
char b1[]=new char[26];
char b2[]=new char[26];
for(int i=0;i<26;i++)
{
b1[i]=a;
b2[i]=(char)(a+32);
a++;
}
/*for(int i=0;i<26;i++) {
System.out.println(b1[i]);
System.out.println(b2[i]);
}*/
try {
BufferedReader in = new BufferedReader(new FileReader("E:\\飘.txt"));
String str;
while ((str = in.readLine()) != null) {
// System.out.println(str);
char[] d=str.toCharArray();
for(int i=0;i<d.length-1;i++) {
for(int j=0;j<26;j++) {
if(b1[j]==d[i]||b2[j]==d[i]) {
a2[j]++;
}
}
}
}
a2[26]=0;
for(int i=0;i<26;i++) {
a2[26]=a2[i]+a2[26];
}
for(int i=0;i<26;i++) {
System.out.print(b1[i]);
System.out.print("和");
System.out.print(b2[i]);
System.out.print("出现的次数为：");
System.out.println(a2[i]);
double d=(double)((double)a2[i]/(double)a2[26]);
String result2=formattedDecimalToPercentage(d);
System.out.println("result = "+result2);
}
} catch (IOException e) {
}
}
}
package dancijiehe;
import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.text.NumberFormat;
public class dancijiehe1 {
private static String formattedDecimalToPercentage(double decimal)
{
//获取格式化对象
NumberFormat nt = NumberFormat.getPercentInstance();
//设置百分数精确度2即保留两位小数
nt.setMinimumFractionDigits(2);
return nt.format(decimal);
}
public static void main(String []args) {
String a1;
char a='A';
int a2[]=new int[27];
char b1[]=new char[26];
char b2[]=new char[26];
for(int i=0;i<26;i++)
{
b1[i]=a;
b2[i]=(char)(a+32);
a++;
}
/*for(int i=0;i<26;i++) {
System.out.println(b1[i]);
System.out.println(b2[i]);
}*/
try {
BufferedReader in = new BufferedReader(new FileReader("E:\\飘.txt"));
String str;
while ((str = in.readLine()) != null) {
// System.out.println(str);
char[] d=str.toCharArray();
for(int i=0;i<d.length-1;i++) {
for(int j=0;j<26;j++) {
if(b1[j]==d[i]||b2[j]==d[i]) {
a2[j]++;
}
}
}
}
a2[26]=0;
for(int i=0;i<26;i++) {
a2[26]=a2[i]+a2[26];
}
for(int i=0;i<26;i++) {
System.out.print(b1[i]);
System.out.print("和");
System.out.print(b2[i]);
System.out.print("出现的次数为：");
System.out.println(a2[i]);
double d=(double)((double)a2[i]/(double)a2[26]);
String result2=formattedDecimalToPercentage(d);
System.out.println("result = "+result2);
}
} catch (IOException e) {
}
}
}
