论文查重
这个作业属于哪个课程 | https://edu.cnblogs.com/campus/gdgy/Internationalcourseincomputationalscienceandtechnology/ |
---|---|
这个作业要求在哪里 | https://edu.cnblogs.com/campus/gdgy/Internationalcourseincomputationalscienceandtechnology/homework/12187 |
这个作业的目标 | 实现论文查重的算法,并学会用psp制作一个时间表格,测试用例以及进行效能分析 |
- Github仓库
存放文件夹地址:https://github.com/3119009475/3119009475- - PSP表格
PSP2.1 | Personal Software Process Stages | 预估耗时(分钟) | 实际耗时(分钟) |
---|---|---|---|
Planning | 计划 | 10 | 5 |
· Estimate | · 估计这个任务需要多少时间 | 10 | 20 |
Development | 开发 | 300 | 350 |
· Analysis | · 需求分析 (包括学习新技术) | 60 | 100 |
· Design Spec | · 生成设计文档 | 40 | 60 |
· Design Review | · 设计复审 | 20 | 30 |
· Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 20 | 20 |
· Design | · 具体设计 | 30 | 40 |
· Coding | · 具体编码 | 180 | 210 |
· Code Review | · 代码复审 | 30 | 20 |
· Test | · 测试(自我测试,修改代码,提交修改) | 20 | 30 |
Reporting | 报告 | 60 | 80 |
· Test Report | · 测试报告 | 40 | 40 |
· Size Measurement | · 计算工作量 | 10 | 10 |
· Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 20 | 10 |
Total | · 合计 | 850 | 1025 |
3.算法分析
使用余弦相似度算法,将文本中的文字转变成空间向量,计算两个文本转变后的空间向量的夹角,因此得出两个文本的相似度的大小。
计算余弦的相似度:
同时每篇文章都会有许多词是重复使用的常用词,为了不影响判断,我们需要消除一定的重复词的影响:
4.相关的requirements截图
5.效能分析
5.1.模块审计:
5.2.模块占用时间以及性能:
6.异常分析
6.1.我的stopwords不管是否放在指定文件夹,程序都可以正常运行,并且查重结果并不会发生任何改变,由此我做出一个推测,也许是我的stopwords并没有发挥作用或者是我设置的stopwords词数太少并没有识别出来。在我的上述尝试中,我试图将我的stopwords放在E盘的PyCharm和E盘的PyCharm中的test中,结果没有变化。
6.2.文件路径出错,当复制了正确的文件路径后问题得到了解决。
7.测试用例
7.1.orig与orig_0.8_add文本相似度为:83.50000000000006%
7.2.orig与orig_0.8_del文本相似度为文本相似度为:73.00000000000004%
7.3.orig与orig_0.8_dis_1文本相似度为:88.50000000000006%
7.4.orig与orig_0.8_dis_10文本相似度为:75.00000000000004%
7.5.orig与orig_0.8_dis_15文本相似度为:63.00000000000002%