[BUAA-SE-2018]结对作业测试报告
作业连接:结对项目-最长单词链
本次评测仅包含正确性、鲁棒性和性能测试三个部分。
2019.4.2修改:更正了几组同学的鲁棒性测试评分和一组同学的测试评分。
2019.4.3修改:更新了性能测试相关的分数,以及一些细节。
1. 测试方式
本次测试采用自动评测+人工复查的方式进行
其中,正确性和性能测试完全依赖于自动测试,鲁棒性测试则通过人工复查的方式来评分。
2. 评分规则
2.1 测试点组成
- 正确性:34个,每个1分
- 鲁棒性:6个,每个1分
- 性能:2个,其中第一个测试10分,第二个较复杂5分
对于鲁棒性测试,要求必须输出正确的提示信息才能得分。
正确性测试中也存在没有输出的边界测试点,但对于这些测试点,不要求一定输出相关提示信息。
2.2 性能测试的分级
考虑到本次正确性测试的测试点较多,且包含很多边界情况,因此我们放宽性能测试的条件为:无条件,即所有同学均可测试,正确即可得分。
本次测试中,第一个性能测试分两档,以60s为界,60s以内得10分,60s以上得5分。
第二个性能测试,由于只有两组同学能正确输出,所以只有一档。
2.3 重新提交的扣分策略
本次作业中有部分同学的作业不符合作业要求,导致无法测试。为了确保能够进行测试,我们允许这些同学修改代码重新提交。但为了确保公平,我们决定扣除这些同学的一些分数。
扣分的策略为:
- BIN本来就存在,但是放错位置,不扣分
- BIN不存在,或者wordlist.exe命名错误,扣1分
- 修改程序,问题不大的情况,第一次修改扣1分,第二次再扣2分
- 修改程序问题比较大的情况,第一次扣2分,第二次再扣3分
- 程序输出格式错误,扣1分
3. 评测结果
由于测试点较多,这里不给出除了性能测试之外的单个测试点的得分情况。
3.1 罗老师班
学号 | 正确性(34) | 鲁棒性(6) | 性能1 | 性能1时间(s) | 性能2 | 性能2时间(s) | 重新修改的扣分 | 总分 |
---|---|---|---|---|---|---|---|---|
15005012 | 15 | 1 | 0 | -1 | 0 | 338.5391 | 0 | 16 |
15061114 | 0 | 0 | 0 | -1 | 0 | -1 | 0 | 0 |
16021160 | 27 | 5 | 1 | 129.4598 | 0 | -1 | 0 | 37 |
16061008 | 11 | 4 | 0 | 319.3594 | 0 | -1 | 0 | 15 |
16061014 | 20 | 1 | 0 | 0.0937 | 0 | 0.0156 | 1 | 20 |
16061026 | 11 | 4 | 0 | 319.3594 | 0 | -1 | 0 | 15 |
16061027 | 20 | 1 | 0 | 0.0937 | 0 | 0.0156 | 1 | 20 |
16061050 | 23 | 5 | 0 | 0.4844 | 0 | 113.3438 | 0 | 28 |
16061051 | 33 | 6 | 1 | 411.4988 | 0 | 574.9063 | 0 | 44 |
16061057 | 31 | 6 | 0 | 0.1406 | 0 | 2 | 0 | 37 |
16061076 | 30 | 5 | 1 | 2.3281 | 0 | -1 | 0 | 45 |
16061082 | 32 | 6 | 1 | 20.4269 | 0 | 421.1138 | 0 | 48 |
16061093 | 33 | 6 | 1 | 0.8125 | 0 | -1 | 3 | 46 |
16061097 | 32 | 6 | 0 | 286.7032 | 0 | -1 | 0 | 38 |
16061100 | 15 | 1 | 0 | -1 | 0 | 150.9222 | 1 | 15 |
16061101 | 21 | 6 | 1 | 0.2675 | 0 | -1 | 0 | 37 |
16061104 | 32 | 6 | 1 | 20.4269 | 0 | 421.1138 | 0 | 48 |
16061106 | 21 | 6 | 0 | 0.1602 | 0 | 0.0611 | 3 | 24 |
16061107 | 21 | 6 | 1 | 0.2675 | 0 | -1 | 0 | 37 |
16061109 | 32 | 6 | 0 | 286.7032 | 0 | -1 | 0 | 38 |
16061110 | 22 | 3 | 1 | 6.5095 | 0 | -1 | 4 | 31 |
16061113 | 12 | 5 | 0 | 57.6061 | 0 | 1.7344 | 0 | 17 |
16061114 | 12 | 5 | 0 | 57.6061 | 0 | 1.7344 | 0 | 17 |
16061118 | 29 | 6 | 1 | 2.4025 | 0 | -1 | 0 | 45 |
16061119 | 21 | 6 | 0 | 0.1602 | 0 | 0.0611 | 3 | 24 |
16061125 | 33 | 5 | 1 | 151.5781 | 0 | -1 | 0 | 43 |
16061135 | 24 | 6 | 1 | 0.4219 | 0 | -1 | 0 | 40 |
16061137 | 32 | 6 | 1 | 0.2154 | 1 | 0.1719 | 1 | 52 |
16061144 | 32 | 6 | 1 | 0.2154 | 1 | 0.1719 | 1 | 52 |
16061145 | 33 | 5 | 1 | 151.5781 | 0 | -1 | 0 | 43 |
16061155 | 33 | 6 | 1 | 0.8125 | 0 | -1 | 3 | 46 |
16061156 | 29 | 6 | 1 | 0.2656 | 0 | -1 | 0 | 45 |
16061159 | 33 | 6 | 1 | 405.3438 | 0 | 570.5156 | 0 | 44 |
16061165 | 23 | 5 | 0 | 0.4844 | 0 | 113.3438 | 0 | 28 |
16061167 | 25 | 6 | 1 | 0.1747 | 1 | 33.875 | 0 | 46 |
16061168 | 23 | 6 | 0 | 12.5133 | 0 | -1 | 1 | 28 |
16061170 | 25 | 6 | 1 | 0.1747 | 1 | 33.875 | 0 | 46 |
16061173 | 24 | 6 | 1 | 0.4219 | 0 | -1 | 0 | 40 |
16061175 | 29 | 6 | 1 | 0.2656 | 0 | -1 | 0 | 45 |
16061182 | 23 | 6 | 0 | 12.5133 | 0 | -1 | 1 | 28 |
16061197 | 22 | 3 | 1 | 6.5095 | 0 | -1 | 4 | 31 |
16061200 | 30 | 5 | 1 | 2.3281 | 0 | -1 | 0 | 45 |
16061201 | 26 | 0 | 1 | 217.9223 | 0 | -1 | 3 | 28 |
16061202 | 26 | 0 | 1 | 217.9223 | 0 | -1 | 3 | 28 |
16091049 | 31 | 6 | 0 | 0.1406 | 0 | 2 | 0 | 37 |
16101061 | 29 | 6 | 1 | 2.4025 | 0 | -1 | 0 | 45 |
3.2 任老师班
学号 | 正确性(34) | 鲁棒性(6) | 性能1 | 性能1时间(s) | 性能2 | 性能2时间(s) | 重新修改的扣分 | 总分 |
---|---|---|---|---|---|---|---|---|
15231112 | 28 | 3 | 0 | 4.8217 | 0 | -1 | 1 | 30 |
16061007 | 27 | 2 | 1 | 34.5461 | 0 | -1 | 0 | 39 |
16061010 | 32 | 6 | 0 | -1 | 0 | -1 | 0 | 38 |
16061011 | 29 | 3 | 1 | 107.7189 | 0 | 280.9996 | 0 | 37 |
16061022 | 32 | 6 | 0 | -1 | 0 | -1 | 0 | 38 |
16061023 | 18 | 5 | 0 | 0.2812 | 0 | 0.2166 | 1 | 22 |
16061030 | 13 | 6 | 0 | 1.4679 | 0 | 0.125 | 0 | 19 |
16061048 | 18 | 5 | 0 | 0.2812 | 0 | 0.2166 | 1 | 22 |
16061103 | 31 | 4 | 0 | 1.5156 | 0 | -1 | 1 | 34 |
16061120 | 0 | 3 | 0 | -1 | 0 | 243.1577 | 2 | 1 |
16061152 | 29 | 3 | 1 | 107.7189 | 0 | 280.9996 | 0 | 37 |
16061153 | 5 | 0 | 0 | 0.2475 | 0 | 0.0531 | 2 | 3 |
16061161 | 28 | 3 | 0 | 4.8217 | 0 | -1 | 1 | 30 |
16061192 | 31 | 4 | 0 | 1.5554 | 0 | -1 | 1 | 34 |
16061203 | 5 | 0 | 0 | 0.2475 | 0 | 0.0531 | 2 | 3 |
16131059 | 27 | 2 | 1 | 34.5461 | 0 | -1 | 0 | 39 |
16231030 | 27 | 5 | 1 | 58.7656 | 0 | -1 | 0 | 42 |
16231031 | 27 | 5 | 1 | 58.7656 | 0 | -1 | 0 | 42 |
16231247 | 13 | 6 | 0 | 1.4679 | 0 | 0.125 | 0 | 19 |
3.3 表中数据的说明
正确性和鲁棒性两列,数字代表得分。
性能1和性能2两列,1代表正确,0代表错误。
相应的时间列表示运行时间,运行时间为-1表示超时或无法运行。
4. 测试点下载和说明
4.1 测试样例下载
为了方便同学们复查自己的问题,我们公开所有的测试样例。
下载连接为:BUAA-SE-2018-结对作业测试样例
提取码:snh4
4.2 测试点说明
这里说明一些可能引起误解或者错误人数比较多的测试点:
- 5:该测试点中,输入的所有单词都在输出的单词链中
- 34, 35:这两个测试点测试输入文件路径不在指令最后的情况,类似
Wordlist.exe -w 34.in -r
这样的指令也应该是合法的 - 36:该测试考察题目要求中”单词链至少2个单词“这个点,所以不能有输出
- 39:该测试点测试单词特别长的情况
- 40:该测试点测试单词特别多的情况
5. 总结
总体而言,同学们在包含-r
参数的测试点中错误较多,这也是本次作业的难点之一。
性能测试的第二个测试点较难,只有一组同学做对,有两组同学做对,其中一组同学的程序的运行速度很快,运行这个性能测试只需要不到1s的时间。
在此特别表扬16061137和16061144两位同学。
这里也给出他们两人博客的地址:
除此之外也要表扬16061082、16061104、16061093、16061155、16061051、16061159、16061125、16061145这四组同学,他们也做得相当不错。