个人项目-java实现论文查重
第一次个人编程作业
作业要求
| 这个作业属于哪个课程 | 工程概论 |
|---|---|
| 这个作业要求在哪里 | 个人项目 |
| 这个作业的目标 | 利用熟悉的语言完成论文查重算法编程，同时熟悉博客园和github的相关操作 |
github仓库链接
需求
题目：论文查重
描述如下：
设计一个论文查重算法，给出一个原文文件和一个在这份原文上经过了增删改的抄袭版论文的文件，在答案文件中输出其重复率。
原文示例：今天是星期天，天气晴，今天晚上我要去看电影。
抄袭版示例：今天是周天，天气晴朗，我晚上要去看电影。
要求输入输出采用文件输入输出，规范如下：
从命令行参数给出：论文原文的文件的绝对路径。
从命令行参数给出：抄袭版论文的文件的绝对路径。
从命令行参数给出：输出的答案文件的绝对路径。
我们提供一份样例，课堂上下发，上传到班级群，使用方法是：orig.txt是原文，其他orig_add.txt等均为抄袭版论文。
注意：答案文件中输出的答案为浮点型，精确到小数点后两位
运行环境
语言：java
算法设计
核心思路：先将原文和抄袭版论文分词并去重，然后构建词向量，计算相同词出现的词频，然后利用余弦相似度计算两篇文章的相似度，从而得到查重率。
项目结构
代码分析
函数设计
readFileContent函数，用来提取文件中的内容
getWordFrequency函数，用来统计文件中相同词语的词频
cosineSimilarity函数，用于计算余弦相似度
异常处理
通过try...catch的结构完成异常处理的部分，当try中的内容出错时就会报错
测试结果
PSP表格
| PSP2.1 | Personal Software Process Stages | 预估耗时（min） | 实际耗时（min） |
|---|---|---|---|
| Planning | 计划 | 5 | 3 |
| Estimate | 估计这个任务需要多少时间 | 1 | 1 |
| Development | 开发 | 20 | 20 |
| Analysis | 需求分析 (包括学习新技术) | 15 | 15 |
| Design Spec | 生成设计文档 | 10 | 5 |
| Design Review | 设计复审 | 5 | 5 |
| Coding Standard | 代码规范 | 10 | 5 |
| Design | 具体设计 | 15 | 10 |
| Coding | 具体编码 | 30 | 20 |
| Code Review | 代码复审 | 5 | 5 |
| Test | 测试 | 5 | 5 |
| Reporting | 报告 | 15 | 15 |
| Test Repor | 测试报告 | 10 | 10 |
| Size Measurement | 计算工作量 | 10 | 10 |
| Postmortem & Process Improvement Plan | 事后总结, 并提出过程改进计划 | 10 | 5 |
| 合计 | 166 | 144 |
