201671010447杨露露 实验二词频统计软件项目报告
一:词频统计个人小型项目#
1.需求分析##
为了练习软件的个人开发流程,设计一个关于词频统计的小程序,在词频统计的小程序中需要实现的功能具体有:
- 1.1:程序可读入任意英文文本文件,该文件中英文词数大于等于1个。
- 1.2:程序需要很壮健,能读取容纳英文原版《哈利波特》10万词以上的文章。
- 1.3:指定单词词频统计功能:用户可输入从该文本中想要查找词频的一个或任意多个英文单词,运行程序的统计功能可显示对应单词在文本中出现的次数和柱状图。:
- 1.4:高频词统计功能:用户从键盘输入高频词输出的个数k,运行程序统计功能,可按文本中词频数降序显示前k个单词的词频及单词。
- 1.5:.统计该文本所有单词数量及词频数,并能将单词及词频数按字典顺序输出到文件result.txt。
2.功能详细设计##
2.1文件读入功能的设计###
将已经存在的.txt文件读入到程序中,将文件读入时存放在缓冲池中,并且在文件读入的时候过滤掉文件中的一些标点符号和一些数字,只读入一些单词,
在文件读入过程中一定注意文件读入流的使用,文件路径也选取相对路径,提高文件读入的健壮性,在不同的环境中也能够成功的读入文件。通过使用集合的方式将文件的内容读进之后存放在集合中,此次程序使用的是Map集合,这样可以在后面查找单词的时候可以通过键值对的方式来查找,并且在存放过程中通过<key,value>的方式存放单词方便遍历的时候取值。在存放的时候,将相同的单词计数,单词作为key值,单词的数量作为value值存放在集合中。
2.2单个单词的个数查找###
在这个功能的设计中需要前面的存放在TreeMap集合里面的单词,在用户在控制台输入想要查找的单词后其实在后台看到的是一串的字符串,通过指定的标点符号截取,将用户输入的字符串存放在String类型的数组里面,通过equal与之前存放在集合中的单词比较,在查找到相同的单词的同时,通过key找到相应的value,并且返回一个单词的个数给控制台。
2.3单词频数存入文件###
将集合中的单词存放在文件中,此时需要的是文件的写入功能,通过FileWriter类中的write方法将集合中的数据写入到文件中,首先需要的是将集合中的数据遍历出来,通过迭代器的方式遍历,存放之后回滚。
2.4柱状图的显示###
在用户查找完单词之后控制台显示的是查找出来的个数,通过继承JFrame类创建可视化图像界面,在创建的界面中设计柱状图,在柱状图的方法中首先要拿到用户查找的单词与查找到单词的个数,在通过Graphics2D方法创建二维的柱状图。
3.重点代码##
3.1文件存放集合中:通过集合的方式存放。###
String line = "src/yll/com/test1/word.txt";
File file = new File(line);
InputStreamReader isr = new InputStreamReader(new FileInputStream(file), "utf-8");
BufferedReader reader = new BufferedReader(isr);
//将文本中的英文词语放在集合里面
tm = new TreeMap<String,Integer>();
while((line=reader.readLine())!=null){
line = line.toLowerCase();//忽略大小写
String[] str = line.split("[^a-zA-Z]");//过滤出只含有字母的
for(int i = 0; i<str.length; i++){
String word = str[i].trim();
if(tm.containsKey(word) && word.length() != 0){
tm.put(word, tm.get(word)+1);
}else{
tm.put(word, 1);
}
}
}
3.2 单个词的显示###
//查找单词之后进行与词群里面查找单词的个数
public String[] bijiao(TreeMap<String, Integer> tm,String s) {//在这个方法中,需要传入的是之前存入单词的集合,用户输入的字符串
TreeMap<String,Integer> map1 = new TreeMap<String, Integer>();
String[] word= s.split(";");//通过分号来截取用户传入的字符串
int i;
for(i=0; i<word.length; i++) {
for(Entry<String,Integer> entry : tm.entrySet()) {
if(word[i].equals(entry.getKey()))//与集合中的单词比较
{
map1.put(entry.getKey(), entry.getValue());
System.out.println(entry.getKey() + "的个数是" + entry.getValue());
break;
}
}
}
return word;
}
4.测试##
4.1单个单词个数的查找与柱状图的显示###
柱状图:
4.2文件的写入###
存入成功的显示
4.3高频词的显示###
5.展示PSP,这个环节重要的是让自己看到自己的估计和实际消耗时间,哪个环节耗时最多,哪个环节估计和实践相差巨大?为什么?##
||||||||||||||
|:--|:--|:--|:--|
|PSP阶段|任务内容|计划共完成需要的时间(min)|实际完成需要的时间(min)|
|Planning|计划|6|9|
|Estimate| 估计这个任务需要多少时间,并规划大致工作步骤|8|12|
|Development|开发|200|340|
|Analysis|需求分析 (包括学习新技术)|10|30|
|Design Spec|生成设计文档|20|30|
|Design Review|设计复审 (和同学审核设计文档)|3|5|
|Coding Standard|代码规范 (为目前的开发制定合适的规范)|10|9|
|Design|具体设计|20|25|
|Coding|具体编码|200|260|
|Code Review|代码复审|30|40|
|Test|测试(自我测试,修改代码,提交修改)|18|40|
|Reporting|报告|18|25|
|Test Report|测试报告|5|6|
|Size Measurement|计算工作量|2|3|
|Postmortem & Process Improvement Plan|事后总结 ,并提出过程改进计划|10|30|
在这个项目的实现中,主要时间花费在代码的实现中,开始的时候整个没有思路,读了好几遍老师的要求,理清项目之后思考这个代码实现所要用到的算法具体会有那些,由于之前没有怎么写过AWT相关的代码,自己查找书和网络了解和实现了一下AWT,在柱状图的实现中纵坐标数值的设置那块出了很多的错,主要是纵坐标的公式的不理解。
在文件写入功能中,一直获取不到集合中的数据,也不报错,通过Debug 方式一步一步查找问题的所在。