工程概论第二次作业

个人项目 ———Java实现论文查重算法

这个作业属于哪个课程	https://edu.cnblogs.com/campus/jmu/ComputerScience21
这个作业要求在哪里	https://edu.cnblogs.com/campus/jmu/ComputerScience21/homework/13034
这个作业的目标	进一步熟悉Github得使用，完成查重算法的设计与测试，学习搭建项目的流程

1.需求

题目：论文查重

描述如下：

设计一个论文查重算法，给出一个原文文件和一个在这份原文上经过了增删改的抄袭版论文的文件，在答案文件中输出其重复率。

原文示例：今天是星期天，天气晴，今天晚上我要去看电影。
抄袭版示例：今天是周天，天气晴朗，我晚上要去看电影。
要求输入输出采用文件输入输出，规范如下：

从命令行参数给出：论文原文的文件的绝对路径。
从命令行参数给出：抄袭版论文的文件的绝对路径。
从命令行参数给出：输出的答案文件的绝对路径。
我们提供一份样例，课堂上下发，上传到班级群，使用方法是：orig.txt是原文，其他orig_add.txt等均为抄袭版论文。

注意：答案文件中输出的答案为浮点型，精确到小数点后两位

开发环境

开发环境#
语言选择：Java 17

使用工具：IDEA 2020.1.1

测试环境：Windows11 22H2

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	45	35
Estimate	估计这个任务需要多少时间	400	502
Development	开发	100	90
Analysis	需求分析 (包括学习新技术)	45	40
Design Spec	生成设计文档	20	20
Design Review	设计复审	25	20
Coding Standard	代码规范 (为目前的开发制定合适的规范)	5	7
Design	具体设计	55	30
Coding	具体编码	60	80
Code Review	代码复审	30	25
Test	测试（自我测试，修改代码，提交修改）	50	60
Reporting	报告	40	50
Test Repor	测试报告	30	25
Size Measurement	计算工作量	10	10
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	20	10
	合计	535	502

2.算法思路

查重算法是通过以下两个方法来实现的
基于simHash的海明距离 + Jaccard Similarity；
基于余弦相似度。
因为在大文本的度量中，相比于simHash，余弦相似度方案的性能表现更差；而在小文本的度量中，余弦相似度的准确率更好，因此针对不同应用场景应该采用不同的方案。

2.1 simHash的海明距离 + Jaccard Similarity

simHash算法分为5个步骤： 1. 分词；2. hash；3. 加权；4. 合并；5. 降维

分词：

hash：通过hash函数计算各个特征向量（这里为划分好的词）的hash值，hash值为二进制数01组成的n-bit签名。

加权：把第2步生成的hash值从左至右与权重进行运算；如果该bit的数值为1，则将权重赋给该位；如果该bit的数值为0，则将权重的负值赋给该位。

合并：经过上述的三个步骤，我们可以得到全部词(word)的加权hash值，此时需要将全部的加权后的hash值进行累加;

降维：将第四步计算出来的序列串变为01串；具体规则：如果该位的数值>0，则置为1；反之则置为0。

2.2 基于余弦相似度

具体流程：
（1）找出两篇文章的关键词；

（2）每篇文章各取出若干个关键词，合并成一个集合，计算每篇文章对于这个集合中的词的词频

（3）生成两篇文章各自的词频向量；

（4）计算两个向量的余弦相似度，值越大就表示越相似。

3.性能分析

Overview

方法的调用情况

4.测试

部分测试代码：

@Test
public void origAndAllTest(){
    String[] str = new String[6];
    str[0] = TxtIOUtils.readTxt("D:/test/orig.txt");
    str[1] = TxtIOUtils.readTxt("D:/test/orig_0.8_add.txt");
    str[2] = TxtIOUtils.readTxt("D:/test/orig_0.8_del.txt");
    str[3] = TxtIOUtils.readTxt("D:/test/orig_0.8_dis_1.txt");
    str[4] = TxtIOUtils.readTxt("D:/test/orig_0.8_dis_10.txt");
    str[5] = TxtIOUtils.readTxt("D:/test/orig_0.8_dis_15.txt");
    String ansFileName = "D:/test/ansAll.txt";
    for(int i = 0; i <= 5; i++){
        double ans = HammingUtils.getSimilarity(SimHashUtils.getSimHash(str[0]), SimHashUtils.getSimHash(str[i]));
        TxtIOUtils.writeTxt(ans, ansFileName);
    }
}

测试结果：

结果文件：

5、异常处理
5.1、设计与实现
当文本长度太短时，HanLp无法取得关键字，需要抛出异常。

    try{
        if(str.length() < 200) throw new ShortStringException("文本过短！");
    }catch (ShortStringException e){
        e.printStackTrace();
        return null;
    }

实现了一个处理这个异常的类：ShortStringException（继承了Exception）
public ShortStringException(String message) { super(message); }

5.2、测试
测试结果：