基于java的论文查重
| 这个作业属于哪个课程 | 工程概论 |
|---|---|
| 这个作业要求在哪里 | 个人项目 |
| 这个作业的目标 | 了解如何在github里上传本地文件，测试性能 |
需求
题目：论文查重
描述如下：
设计一个论文查重算法，给出一个原文文件和一个在这份原文上经过了增删改的抄袭版论文的文件，在答案文件中输出其重复率。
原文示例：今天是星期天，天气晴，今天晚上我要去看电影。
抄袭版示例：今天是周天，天气晴朗，我晚上要去看电影。
要求输入输出采用文件输入输出，规范如下：
从命令行参数给出：论文原文的文件的绝对路径。
从命令行参数给出：抄袭版论文的文件的绝对路径。
从命令行参数给出：输出的答案文件的绝对路径。
我们提供一份样例，课堂上下发，上传到班级群，使用方法是：orig.txt是原文，其他orig_add.txt等均为抄袭版论文。
注意：答案文件中输出的答案为浮点型，精确到小数点后两位
PSP表格
| PSP2.1 | Personal Software Process Stages | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | 30 | 40 |
| Estimate | 估计这个任务需要多少时间 | 30 | 50 |
| Development | 开发 | 500 | 580 |
| Analysis | 需求分析 (包括学习新技术) | 90 | 120 |
| Design Spec | 生成设计文档 | 30 | 15 |
| Design Review | 设计复审 | 30 | 40 |
| Coding Standard | 代码规范 (为目前的开发制定合适的规范) | 20 | 25 |
| Design | 具体设计 | 60 | 80 |
| Coding | 具体编码 | 120 | 150 |
| Code Review | 代码复审 | 50 | 60 |
| Test | 测试（自我测试，修改代码，提交修改） | 30 | 50 |
| Reporting | 报告 | 30 | 25 |
| Test Repor | 测试报告 | 20 | 10 |
| Size Measurement | 计算工作量 | 10 | 10 |
| Postmortem & Process Improvement Plan | 事后总结, 并提出过程改进计划 | 10 | 10 |
| 合计 | 1060 | 1260 |
需求分析
设计查重算法，给出一个原文文件和一个在这份原文上经过了增删改的抄袭版论文的文件，在答案文件中输出其重复率。
总体实现
1.读写txt文件（原论文与抄袭版论文）
2.运用simhash＋海明距离算法计算文本相似度
3.将相似度以浮点型（精确到小数点后两位）输入到答案文件中
4.异常处理
- hash：计算关键词的Hash值
- hammingDistance：对两个文档的simhash值每一位进行异或运算，计算海明距离
- getSemblance：利用海明距离计算重复率
- readString:文件读取
模块设计
1.利用Hanlp分词
2.将每一个分词hash为一组固定长度的数列
3.建立一个长度为128的整数数组
4.最后对数组进行判断,大于0的记为1,小于等于0的记为0,得到一个128位的simhash值
结果
