第四周作业 wordcount 优化
GitHub 地址:
https://github.com/llag9810/Software-Quality-and-Testing-HW2
PSP2.1 表格
| PSP2.1 | PSP阶段 | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | 10 | 10 |
| · Estimate | · 估计这个任务需要多少时间 | 10 | 10 |
| Development | 开发 | 80 | 75 |
| · Analysis | · 需求分析 (包括学习新技术) | 5 | 5 |
| · Design Spec | · 生成设计文档 | 8 | 5 |
| · Design Review | · 设计复审 (和同事审核设计文档) | 7 | 5 |
| · Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 5 | 5 |
| · Design | · 具体设计 | 10 | 8 |
| · Coding | · 具体编码 | 10 | 12 |
| · Code Review | · 代码复审 | 15 | 15 |
| · Test | · 测试（自我测试，修改代码，提交修改） | 20 | 20 |
| Reporting | 报告 | 40 | 55 |
| · Test Report | · 测试报告 | 10 | 10 |
| · Size Measurement | · 计算工作量 | 5 | 5 |
| · Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 25 | 30 |
| 合计 | 130 | 140 |
程序实现
本程序分为三个部分：
Main.java：程序的入口，用于读文件、完成参数有效性判断的功能。
Counter.java：计数类。用于计数，并维护计数过程中 Top100 单词。
Output.java：专用于输出的类。
程序设计思路
1. 使用正则表达式来匹配合法单词。
Pattern pattern = Pattern.compile("[A-Za-z]+(-[A-Za-z]*)?");
String line = scanner.nextLine();
Matcher matcher = pattern.matcher(line);
2. 使用 HashMap 和最小堆来维护出现频率前100的单词。
HashMap的key是单词，value是出现的次数。
单词首次出现时，加入map中。每再次扫描到这个单词，hashmap对应的value加一。然后将value和堆顶（100个元素里最小的）作比较。如果新单词的value大于堆顶，然后将新元素插入堆。如果堆的容量大于100了，那就再删掉最小元素。确保堆的容量始终是100。
while (matcher.find()) {
String s = matcher.group().toLowerCase();
if (s.endsWith("-")) {
s = s.substring(0, s.length() - 1);
}
int count = map.getOrDefault(s, 0) + 1;
map.put(s, count);
if (queue.isEmpty()) {
queue.add(s);
} else {
if (map.getOrDefault(s, 0) >= map.get(queue.peek())) {
if (queue.contains(s)) {
queue.remove(s);
}
queue.add(s);
}
if (queue.size() >= 100) {
queue.poll();
}
}
}
优先队列因为需要使用特殊的比较策略（比较map中以单词为key对应的value），所以我们需重写比较器。当两者出现次数不同时，出现次数多的即为大者。二者次数相同时，比较字典序。
queue = new PriorityQueue<>(new Comparator<String>() {
@Override
public int compare(String o1, String o2) {
int c1 = map.getOrDefault(o1, 0);
int c2 = map.getOrDefault(o2, 0);
if (c1 - c2 != 0) {
return c1 - c2;
}
return o1.compareTo(o2);
}
});
测试设计描述
测试设计从以下几个角度来表现：
- 空用例
- 单个单词用例
- 单句子单单词用例
- 多个同句子用例
- 多个不同句子用例
- 长文本不换行用例
- 长文本用例
- 超大文件用例
| Test Case ID 测试用例编号 | Test Item 测试项（即功能模块或函数） | Test Case Title 测试用例标题 | Test Criticality重要级别 | Status 是否通过 |
|---|---|---|---|---|
| 1 | Main | BasicA | 5 | OK |
| 2 | Main | BasicB | 4 | OK |
| 3 | Main | Advanced | 4 | OK |
| 4 | Main | Special | 2 | OK |
| 5 | Counter | testm 1 | 3 | OK |
| 6 | Counter | testm 2 | 1 | OK |
| 7 | Counter | testm 3 | 5 | OK |
| 8 | Counter | testm 4 | 3 | OK |
| 9 | Counter | testm 5 | 4 | OK |
| 10 | Counter | testm 6 | 2 | OK |
| 11 | Counter | testm 7 | 5 | OK |
| 12 | Counter | testm 8 | 1 | OK |
| 13 | Counter | testm 9 | 3 | OK |
| 14 | Counter | testm 10 | 4 | OK |
| 15 | Counter | testm 11 | 5 | OK |
| 16 | Counter | testm 12 | 3 | OK |
| 17 | Counter | testm 13 | 4 | OK |
| 18 | Counter | testm 14 | 5 | OK |
| 19 | Counter | testm 15 | 3 | OK |
| 20 | Counter | testm 16 | 2 | OK |
| 21 | Counter | testm 17 | 3 | OK |
| 22 | Counter | testm 18 | 5 | OK |
| 23 | Counter | testm 19 | 5 | OK |
| 24 | Counter | testm 20 | 3 | OK |
| 25 | Counter | testl 1 | 2 | OK |
| 26 | Counter | testl 2 | 3 | OK |
| 27 | Counter | testl 3 | 4 | OK |
| 28 | Counter | testl 4 | 5 | OK |
| 29 | Counter | testl 5 | 5 | OK |
| 30 | Counter | testl 6 | 3 | OK |
| 31 | Counter | testl 7 | 3 | OK |
| 32 | Counter | testl 8 | 3 | OK |
| 33 | Counter | testl 9 | 4 | OK |
| 34 | Counter | testl 10 | 5 | OK |
| 35 | Counter | testl 11 | 5 | OK |
| 36 | Counter | testl 12 | 2 | OK |
| 37 | Counter | testl 13 | 2 | OK |
| 38 | Counter | testl 14 | 4 | OK |
| 39 | Counter | testl 15 | 1 | OK |
| 40 | Counter | testl 16 | 3 | OK |
| 41 | Counter | testl 17 | 1 | OK |
| 42 | Counter | testl 18 | 3 | OK |
| 43 | Counter | testl 19 | 4 | OK |
| 44 | Counter | testl 20 | 3 | OK |
| 45 | Counter | testz 1 | 5 | OK |
| 46 | Counter | testz 2 | 1 | OK |
| 47 | Counter | testz 3 | 2 | OK |
| 48 | Counter | testz 4 | 4 | OK |
| 49 | Counter | testz 5 | 5 | OK |
| 50 | Counter | testz 6 | 5 | OK |
| 51 | Counter | testz 7 | 2 | OK |
| 52 | Counter | testz 8 | 3 | OK |
| 53 | Counter | testz 9 | 4 | OK |
| 54 | Counter | testz 10 | 3 | OK |
| 55 | Counter | testz 11 | 4 | OK |
| 56 | Output | testz 12 | 3 | OK |
| 57 | Output | testz 13 | 5 | OK |
| 58 | Output | testz 14 | 4 | OK |
| 59 | Output | testz 15 | 3 | OK |
| 60 | Output | testz 16 | 2 | OK |
单元测试结果
评价小组成员代码
代码规范选择
使用《阿里巴巴 Java 开发手册》作为代码规范。
同行评审过程描述
作者，讲解员：朱一帆
主持人，评审员：李敏达
记录员，评审员：明煦智
评审目的
在已有的代码以及相应的代码规范基础上，我们进行代码风格以及代码质量的评审，目的有：首先是规范开发标准，确定开发的流程规范，确保开发进行过程中感到规范性。其次，遵循良好的代码规范可以让开发易于理解，便于团队合作，也利于后期维护。再者，通过评审代码，规范代码风格，提高代码质量时我们可以提高我们的代码水平，提升我们自己的工程能力，有利于我们成长为一个成熟健全的软件工程人。
经过讨论，两位评审员对于以下代码给出了评审结果是：
1. 此代码功能划分良好，按照相应的doc规范书写了比较完整的函数定义doc，但是缺少相应的行间注释，有可能造成代码的部分功能不明确。
2. 函数命名遵守了小驼峰命名，类命名遵守了大驼峰命名，语意清晰。
3. 代码冗余度小，代码风格明确，有良好的缩进习惯。
静态测试
使用 Intellij IDEA 的 lint 插件，确保命名遵循驼峰法，无拼写错误，花括号换行等没有出现问题。
性能优化
在第一个版本中，使用HashMap统计词频，然后将map里的每一项提到数组中排序，取最大的前100项作为结果。这样程序复杂度为O(nlogn)。
在目前展现在博客中的版本中，使用哈希表加最小堆的操作，假设堆中固定由k个元素，考虑最坏情况，每次都会调整堆序，程序复杂度的上界为O(nlogk)。考虑到，输入规模n可能会很大，但是在本题中，k固定为100，log2(100)可以视作一个常数。
事实上，经过本人对一些常见来源文章（例如新闻、书籍、发表文章）等的测试，Top 100的总是小部分几个常见词（The、this、do等），在大部分时间，我们是不需要调整堆序的。所以，理论上来讲平均情况应该是很接近于线性复杂度的。
另外，有考虑过用多线程去优化统计速度，不过出现了一些同步问题，所以最终版本未表现出。
小组贡献率
17055: 0.36
17066: 0.33
17057: 0.30
