论文查重
作业所属班级 | 软件工程2024 |
---|---|
作业要求 | 个人项目 |
作业目标 | 实现查重功能 |
PSP表格
PSP2.1 | Personal Software Process Stages | 预估耗时(分钟) | 实际耗时(分钟) |
---|---|---|---|
Planning | 计划 | 20 | 30 |
Estimate* | 估计这个任务需要多长时间 | 20 | 15 |
Development | 开发 | 720 | 880 |
Analysis | 需求分析(包括学习新技术) | 30 | 120 |
Design Spec | 生成设计文档 | 60 | 40 |
Design Review | 设计复审 | 20 | 30 |
Coding Standard | 代码规范 | 10 | 15 |
Design | 具体设计 | 60 | 80 |
Coding | 具体编码 | 300 | 180 |
Code Review | 代码复审 | 20 | 15 |
Test | 测试 | 100 | 60 |
Reporting | 报告 | 40 | 30 |
Test Report | 测试报告 | 20 | 10 |
Size Measurement | 计算工作量 | 20 | 15 |
Postmortem & Process Improvment Plan | 事后总结,并提出过程的改进计划 | 40 | 30 |
合计 | 740 | 910 |
计划
先实现文件的读取操作,再进行查重率的算法实现
开发
开发环境
编程语言:Java
IDE:Intellij IDEA
项目构建工具:maven
单元测试:JUnit
性能分析工具:JProfiler
依赖的外部 jar 包:汉语言处理包
<dependency>
<groupId>com.hankcs</groupId>
<artifactId>hanlp</artifactId>
<version>portable-1.5.4</version>
</dependency>
开发流程
1、读取txt文件,转化为string类型的字符串
2、分词:取出所有关键词
3、计算出 SimHash值,计算出海明距离,求相似度
4、将结果写入指定文件
类
Main:main 方法所在的类
HammingUtils:计算海明距离的类
SimHashUtils:计算 SimHash 值的类
TxtInOutUtils:读写 txt 文件的工具类
ShortStringException:处理文本内容过短的异常类
核心算法
求相似度步骤分为五步 分词->Hash->加权->合并->降维
参考资料
接口设计
读写Txt文件的模块
类:TxtInOutUtils
包含了两个方法
1、readTxt:读取txt文件
2、writeTxt:写入txt文件
SimHash模块(核心模块)
包含了两个方法
1、getHash:传入String,计算出它的hash值,并以字符串形式输出,(使用了MD5获得hash值)
2、getSimHash:传入String,计算出它的simHash值,并以字符串形式输出,(需要调用 getHash 方法)
getSimHash 是核心算法,主要流程如下:
1、分词
点击查看代码
List<String> keywordList = HanLP.extractKeyword(str, str.length());
点击查看代码
StringBuilder keywordHash = new StringBuilder(getHash(keyword));
if (keywordHash.length() < 128) {
// hash值可能少于128位,在低位以0补齐
int dif = 128 - keywordHash.length();
for (int j = 0; j < dif; j++) {
keywordHash.append("0");
}
}
点击查看代码
for (int j = 0; j < v.length; j++) {
// 对keywordHash的每一位与'1'进行比较
if (keywordHash.charAt(j) == '1') {
//权重分10级,由词频从高到低,取权重10~0
v[j] += (10 - (i / (size / 10)));
} else {
v[j] -= (10 - (i / (size / 10)));
}
}
i++;
}
点击查看代码
StringBuilder simHash = new StringBuilder();
for (int k : v) {
// 从高位遍历到低位
if (k <= 0) {
simHash.append("0");
} else {
simHash.append("1");
}
}
海明距离模块
1、getHammingDistance:输入两个 simHash 值,计算出它们的海明距离 distance
点击查看代码
int distance = 0;
if (simHash1.length() != simHash2.length()) {
// 出错,返回-1
distance = -1;
} else {
for (int i = 0; i < simHash1.length(); i++) {
// 每一位进行比较
if (simHash1.charAt(i) != simHash2.charAt(i)) {
distance++;
}
}
}
点击查看代码
return 0.01 * (100 - (double) (distance * 100) / 128);
性能分析
从分析图可以看到:
调用次数最多的是com.hankcs.hanlp包提供的接口, 即分词、取关键词与计算词频花费了最多的时间。
在性能上优化取决于该算法的突破
单元测试
读写TXt文件模块的测试
基本思路:
1、测试正常读取
2、测试正常写入
3、测试错误读取
4、测试错误写入
点击查看代码
@Test
public void readTxt() {
// 路径存在,正常读取
String str = TxtInOutUtils.readTxt("D:/test/orig.txt");
String[] strings = str.split(" ");
for (String string : strings) {
System.out.println(string);
}
}
@Test
public void writeTxt() {
// 路径存在,正常写入
double[] elem = {0.11, 0.22, 0.33, 0.44, 0.55};
for (double v : elem) {
TxtInOutUtils.writeTxt(v, "D:/test/ans.txt");
}
}
@Test
public void readTxtFailTest() {
// 路径不存在,读取失败
TxtInOutUtils.readTxt("D:/test/none.txt");
}
@Test
public void writeTxtFailTest() {
// 路径错误,写入失败
double[] elem = {0.11, 0.22, 0.33, 0.44, 0.55};
for (double v : elem) {
TxtInOutUtils.writeTxt(v, "User:/test/ans.txt");
}
}
SimHash模块的测试
点击查看代码
@Test
public void getHashTest() {
String[] strings = {"原神", "是", "一款", "好玩", "的", "游戏"};
for (String string : strings) {
String stringHash = SimHashUtils.getHash(string);
System.out.println(stringHash.length());
System.out.println(stringHash);
}
}
@Test
public void getSimHashTest() {
String str0 = TxtInOutUtils.readTxt("D:/test/orig.txt");
String str1 = TxtInOutUtils.readTxt("D:/test/orig_0.8_add.txt");
System.out.println(SimHashUtils.getSimHash(str0));
System.out.println(SimHashUtils.getSimHash(str1));
}
Hamming模块的测试
Main模块测试
结果文件
异常错误处理
设计与实现
当文本长度太短或文本为空时,HanLp无法取得关键字,需要抛出异常
点击查看代码
public ShortStringException(String message) {
super(message);
}
点击查看代码
@Test
public void shortStringExceptionTest(){
//测试str.length()<200的情况
System.out.println(SimHashUtils.getSimHash("原神,启动!"));
}
总结
本项目的最大难点在于查重算法的实现,如何进行高效地、准确地进行查重是这个项目最核心的点。
目前网上主流的有四种算法,这里只挑选了其中一种,查重率可能与其他算法求出的不同。
收获:过了一遍个人项目流程,学会了一些工具的初步使用,但是仍未熟练掌握个人项目开发的技巧