[BUAA-SE-2018]结对作业测试报告

作业连接:结对项目-最长单词链

本次评测仅包含正确性、鲁棒性和性能测试三个部分。

2019.4.2修改:更正了几组同学的鲁棒性测试评分和一组同学的测试评分。
2019.4.3修改:更新了性能测试相关的分数,以及一些细节。

1. 测试方式

本次测试采用自动评测+人工复查的方式进行

其中,正确性和性能测试完全依赖于自动测试,鲁棒性测试则通过人工复查的方式来评分。

2. 评分规则

2.1 测试点组成

  • 正确性:34个,每个1分
  • 鲁棒性:6个,每个1分
  • 性能:2个,其中第一个测试10分,第二个较复杂5分

对于鲁棒性测试,要求必须输出正确的提示信息才能得分。
正确性测试中也存在没有输出的边界测试点,但对于这些测试点,不要求一定输出相关提示信息。

2.2 性能测试的分级

考虑到本次正确性测试的测试点较多,且包含很多边界情况,因此我们放宽性能测试的条件为:无条件,即所有同学均可测试,正确即可得分。
本次测试中,第一个性能测试分两档,以60s为界,60s以内得10分,60s以上得5分。
第二个性能测试,由于只有两组同学能正确输出,所以只有一档。

2.3 重新提交的扣分策略

本次作业中有部分同学的作业不符合作业要求,导致无法测试。为了确保能够进行测试,我们允许这些同学修改代码重新提交。但为了确保公平,我们决定扣除这些同学的一些分数。

扣分的策略为:

  1. BIN本来就存在,但是放错位置,不扣分
  2. BIN不存在,或者wordlist.exe命名错误,扣1分
  3. 修改程序,问题不大的情况,第一次修改扣1分,第二次再扣2分
  4. 修改程序问题比较大的情况,第一次扣2分,第二次再扣3分
  5. 程序输出格式错误,扣1分

3. 评测结果

由于测试点较多,这里不给出除了性能测试之外的单个测试点的得分情况。

3.1 罗老师班

学号 正确性(34) 鲁棒性(6) 性能1 性能1时间(s) 性能2 性能2时间(s) 重新修改的扣分 总分
15005012 15 1 0 -1 0 338.5391 0 16
15061114 0 0 0 -1 0 -1 0 0
16021160 27 5 1 129.4598 0 -1 0 37
16061008 11 4 0 319.3594 0 -1 0 15
16061014 20 1 0 0.0937 0 0.0156 1 20
16061026 11 4 0 319.3594 0 -1 0 15
16061027 20 1 0 0.0937 0 0.0156 1 20
16061050 23 5 0 0.4844 0 113.3438 0 28
16061051 33 6 1 411.4988 0 574.9063 0 44
16061057 31 6 0 0.1406 0 2 0 37
16061076 30 5 1 2.3281 0 -1 0 45
16061082 32 6 1 20.4269 0 421.1138 0 48
16061093 33 6 1 0.8125 0 -1 3 46
16061097 32 6 0 286.7032 0 -1 0 38
16061100 15 1 0 -1 0 150.9222 1 15
16061101 21 6 1 0.2675 0 -1 0 37
16061104 32 6 1 20.4269 0 421.1138 0 48
16061106 21 6 0 0.1602 0 0.0611 3 24
16061107 21 6 1 0.2675 0 -1 0 37
16061109 32 6 0 286.7032 0 -1 0 38
16061110 22 3 1 6.5095 0 -1 4 31
16061113 12 5 0 57.6061 0 1.7344 0 17
16061114 12 5 0 57.6061 0 1.7344 0 17
16061118 29 6 1 2.4025 0 -1 0 45
16061119 21 6 0 0.1602 0 0.0611 3 24
16061125 33 5 1 151.5781 0 -1 0 43
16061135 24 6 1 0.4219 0 -1 0 40
16061137 32 6 1 0.2154 1 0.1719 1 52
16061144 32 6 1 0.2154 1 0.1719 1 52
16061145 33 5 1 151.5781 0 -1 0 43
16061155 33 6 1 0.8125 0 -1 3 46
16061156 29 6 1 0.2656 0 -1 0 45
16061159 33 6 1 405.3438 0 570.5156 0 44
16061165 23 5 0 0.4844 0 113.3438 0 28
16061167 25 6 1 0.1747 1 33.875 0 46
16061168 23 6 0 12.5133 0 -1 1 28
16061170 25 6 1 0.1747 1 33.875 0 46
16061173 24 6 1 0.4219 0 -1 0 40
16061175 29 6 1 0.2656 0 -1 0 45
16061182 23 6 0 12.5133 0 -1 1 28
16061197 22 3 1 6.5095 0 -1 4 31
16061200 30 5 1 2.3281 0 -1 0 45
16061201 26 0 1 217.9223 0 -1 3 28
16061202 26 0 1 217.9223 0 -1 3 28
16091049 31 6 0 0.1406 0 2 0 37
16101061 29 6 1 2.4025 0 -1 0 45

3.2 任老师班

学号 正确性(34) 鲁棒性(6) 性能1 性能1时间(s) 性能2 性能2时间(s) 重新修改的扣分 总分
15231112 28 3 0 4.8217 0 -1 1 30
16061007 27 2 1 34.5461 0 -1 0 39
16061010 32 6 0 -1 0 -1 0 38
16061011 29 3 1 107.7189 0 280.9996 0 37
16061022 32 6 0 -1 0 -1 0 38
16061023 18 5 0 0.2812 0 0.2166 1 22
16061030 13 6 0 1.4679 0 0.125 0 19
16061048 18 5 0 0.2812 0 0.2166 1 22
16061103 31 4 0 1.5156 0 -1 1 34
16061120 0 3 0 -1 0 243.1577 2 1
16061152 29 3 1 107.7189 0 280.9996 0 37
16061153 5 0 0 0.2475 0 0.0531 2 3
16061161 28 3 0 4.8217 0 -1 1 30
16061192 31 4 0 1.5554 0 -1 1 34
16061203 5 0 0 0.2475 0 0.0531 2 3
16131059 27 2 1 34.5461 0 -1 0 39
16231030 27 5 1 58.7656 0 -1 0 42
16231031 27 5 1 58.7656 0 -1 0 42
16231247 13 6 0 1.4679 0 0.125 0 19

3.3 表中数据的说明

正确性和鲁棒性两列,数字代表得分。
性能1和性能2两列,1代表正确,0代表错误。
相应的时间列表示运行时间,运行时间为-1表示超时或无法运行。

4. 测试点下载和说明

4.1 测试样例下载

为了方便同学们复查自己的问题,我们公开所有的测试样例。
下载连接为:BUAA-SE-2018-结对作业测试样例
提取码:snh4

4.2 测试点说明

这里说明一些可能引起误解或者错误人数比较多的测试点:

  • 5:该测试点中,输入的所有单词都在输出的单词链中
  • 34, 35:这两个测试点测试输入文件路径不在指令最后的情况,类似Wordlist.exe -w 34.in -r这样的指令也应该是合法的
  • 36:该测试考察题目要求中”单词链至少2个单词“这个点,所以不能有输出
  • 39:该测试点测试单词特别长的情况
  • 40:该测试点测试单词特别多的情况

5. 总结

总体而言,同学们在包含-r参数的测试点中错误较多,这也是本次作业的难点之一。

性能测试的第二个测试点较难,只有一组同学做对,有两组同学做对,其中一组同学的程序的运行速度很快,运行这个性能测试只需要不到1s的时间。
在此特别表扬1606113716061144两位同学。

这里也给出他们两人博客的地址:

除此之外也要表扬16061082、16061104、16061093、16061155、16061051、16061159、16061125、16061145这四组同学,他们也做得相当不错。

posted @ 2019-04-01 23:14  Alethia  阅读(571)  评论(3编辑  收藏  举报