软工第一次作业-论文查重

这个作业属于哪个课程	https://edu.cnblogs.com/campus/gdgy/CSGrade22-34/
这个作业要求在哪里	https://edu.cnblogs.com/campus/gdgy/CSGrade22-34/homework/13229
这个作业的目标	通过Java开发个人项目，实现项目单元测试
作业github地址(含jar包)	github：https://github.com/Placidoe/first-home-work.git

一、需求分析

题目：论文查重

描述如下：

设计一个论文查重算法，给出一个原文文件和一个在这份原文上经过了增删改的抄袭版论文的文件，在答案文件中输出其重复率。

原文示例：今天是星期天，天气晴，今天晚上我要去看电影。
抄袭版示例：今天是周天，天气晴朗，我晚上要去看电影。
要求输入输出采用文件输入输出，规范如下：

从命令行参数给出：论文原文的文件的绝对路径。
从命令行参数给出：抄袭版论文的文件的绝对路径。
从命令行参数给出：输出的答案文件的绝对路径。
我们提供一份样例，课堂上下发，上传到班级群，使用方法是：orig.txt是原文，其他orig_add.txt等均为抄袭版论文。

注意：答案文件中输出的答案为浮点型，精确到小数点后两位

二、PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	30	40
Estimate	估计这个任务需要多少时间	20	15
Development	开发	350	400
Analysis	需求分析 (包括学习新技术)	80	120
Design Spec	生成设计文档	30	50
Design Review	设计复审	30	30
Coding Standard	代码规范 (为目前的开发制定合适的规范)	20	20
Design	具体设计	60	70
Coding	具体编码	80	110
Code Review	代码复审	30	40
Test	测试（自我测试，修改代码，提交修改）	60	80
Reporting	报告	60	70
Test Repor	测试报告	20	20
Size Measurement	计算工作量	20	20
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	40	30
合计		1000	1115

三、流程图及接口代码实现

设计思路流程图

接口代码实现

读取文本-工具类

package com.lx.utils;

/**
 * TODO
 *
 * @Description
 * @Author Lx
 * @Date 2024/9/12 下午11:31
 **/
public class HammingUtils {

    //1.计算海明威距离
    public static int getHammingDistance(String simHash1, String simHash2){
        int distance = 0;
        if (simHash1.length() != simHash2.length()) {
            // 出错，返回-1
            distance = -1;
        } else
        for (int i = 0; i < simHash1.length(); i++) {
            // 每一位进行比较
            if (simHash1.charAt(i) != simHash2.charAt(i)) {
                distance++;
            }
        }
        return distance;
    }

    //2.根据海明威距离计算相似度
    public static double getSimilarity(String simHash1, String simHash2){
        int distance = getHammingDistance(simHash1, simHash2);
        return 0.01 * (100 - distance * 100 / 128);
    }
}

//package com.lx.utils;
//
//public class HammingUtils {
//    /**
//     * 输入两个simHash值，计算它们的海明距离
//     * @param simHash1
//     * @param simHash2
//     * @return 海明距离
//     */
//    public static int getHammingDistance(String simHash1, String simHash2) {
//        int distance = 0;
//        if (simHash1.length() != simHash2.length()) {
//            // 出错，返回-1
//            distance = -1;
//        } else {
//            for (int i = 0; i < simHash1.length(); i++) {
//                // 每一位进行比较
//                if (simHash1.charAt(i) != simHash2.charAt(i)) {
//                    distance++;
//                }
//            }
//        }
//        return distance;
//    }
//
//    /**
//     * 输入两个simHash值，输出相似度
//     * @param simHash1
//     * @param simHash2
//     * @return 相似度
//     */
//    public static double getSimilarity(String simHash1, String simHash2) {
//        // 通过 simHash1 和 simHash2 获得它们的海明距离
//        int distance = getHammingDistance(simHash1, simHash2);
//        // 通过海明距离计算出相似度，并返回
//        return 0.01 * (100 - distance * 100 / 128);
//    }
//}

计算SimHash哈希码-工具类


package com.lx.utils;

import com.hankcs.hanlp.HanLP;
import com.lx.utils.ShortStringException;

import java.math.BigInteger;
import java.security.MessageDigest;
import java.util.List;

public class SimHashUtils {

    /**
     * 传入String，计算出它的hash值，并以字符串形式输出
     * @param str 传入的String类型字符串
     * @return 返回str的hash值
     */
    public static String getHash(String str){
        try{
            //使用MD5获得hash值
            MessageDigest messageDigest = MessageDigest.getInstance("MD5");
            return new BigInteger(1, messageDigest.digest(str.getBytes("UTF-8"))).toString(2);
        }catch(Exception e){
            e.printStackTrace();
            return str;
        }
    }


    /**
     * 传入String,计算出它的simHash值，并以字符串形式输出
     * @param str 传入的String类型字符串
     * @return 返回str的simHash值
     */
    public static String getSimHash(String str){
        // 文本长度太短时HanLp无法取得关键字
        try{
            if(str.length() < 200) throw new ShortStringException("文本过短！");
        }catch (ShortStringException e){
            e.printStackTrace();
            return null;
        }

        // 用数组表示特征向量,取128位,从 0 1 2 位开始表示从高位到低位
        int[] v = new int[128];

        // 1、分词（使用了外部依赖hankcs包提供的接口,把需要判断的文本分词形成这个文章的特征单词）
        List<String> keywordList = HanLP.extractKeyword(str, str.length());//取出所有关键词
        // hash
        int size = keywordList.size();
        int i = 0;//以i做外层循环
        for(String keyword : keywordList){
            // 2、获取hash值
            String keywordHash = getHash(keyword);
            if (keywordHash.length() < 128) {
                // hash值可能少于128位，在低位以0补齐
                int dif = 128 - keywordHash.length();
                for (int j = 0; j < dif; j++) {
                    keywordHash += "0";
                }
            }
            // 3、加权、合并
            for (int j = 0; j < v.length; j++) {
                // 对keywordHash的每一位与'1'进行比较
                if (keywordHash.charAt(j) == '1') {
                    //权重分10级，由词频从高到低，取权重10~0
                    v[j] += (10 - (i / (size/10)));
                } else {
                    v[j] -= (10 - (i / (size/10)));
                }
            }
            i++;
        }
        // 4、降维
        String simHash = "";// 储存返回的simHash值
        for (int j = 0; j < v.length; j++) {
            // 从高位遍历到低位
            if (v[j] <= 0) {
                simHash += "0";
            } else {
                simHash += "1";
            }
        }
        return simHash;
    }
}

计算海明威距离-工具类

package com.lx.utils;

/**
 * TODO
 *
 * @Description
 * @Author Lx
 * @Date 2024/9/12 下午11:31
 **/
public class HammingUtils {

    //1.计算海明威距离
    public static int getHammingDistance(String simHash1, String simHash2){
        int distance = 0;
        if (simHash1.length() != simHash2.length()) {
            // 出错，返回-1
            distance = -1;
        } else
        for (int i = 0; i < simHash1.length(); i++) {
            // 每一位进行比较
            if (simHash1.charAt(i) != simHash2.charAt(i)) {
                distance++;
            }
        }
        return distance;
    }

    //2.根据海明威距离计算相似度
    public static double getSimilarity(String simHash1, String simHash2){
        int distance = getHammingDistance(simHash1, simHash2);
        return 0.01 * (100 - distance * 100 / 128);
    }
}

//package com.lx.utils;
//
//public class HammingUtils {
//    /**
//     * 输入两个simHash值，计算它们的海明距离
//     * @param simHash1
//     * @param simHash2
//     * @return 海明距离
//     */
//    public static int getHammingDistance(String simHash1, String simHash2) {
//        int distance = 0;
//        if (simHash1.length() != simHash2.length()) {
//            // 出错，返回-1
//            distance = -1;
//        } else {
//            for (int i = 0; i < simHash1.length(); i++) {
//                // 每一位进行比较
//                if (simHash1.charAt(i) != simHash2.charAt(i)) {
//                    distance++;
//                }
//            }
//        }
//        return distance;
//    }
//
//    /**
//     * 输入两个simHash值，输出相似度
//     * @param simHash1
//     * @param simHash2
//     * @return 相似度
//     */
//    public static double getSimilarity(String simHash1, String simHash2) {
//        // 通过 simHash1 和 simHash2 获得它们的海明距离
//        int distance = getHammingDistance(simHash1, simHash2);
//        // 通过海明距离计算出相似度，并返回
//        return 0.01 * (100 - distance * 100 / 128);
//    }
//}