开发记录4
完成了任务2，实现了对词条的自动分类以及对词条关键字的提取，这次就是开始任务3对百度百科进行全文检索，判断抄袭语句，以及全文相似比。
思路：对任务2中提取的关键字为准对爬取百度百科，然后对比词条解释和爬取的内容进行比对，相似度大于80%的就将抄袭语句插入数据库，然后再写入PDF，其中抄袭的语句用红色标注出来
方法：1.用余弦相似度对语句进行比对，将相似度大于80%且长度大于13个字符的语句写入数据库。代码如下：
package com.servlet; import java.io.IOException; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Set; import java.util.stream.Collectors; import org.jsoup.Jsoup; import com.dao.InformationDao; import com.hankcs.hanlp.HanLP; import com.model.Information; /** * 字符串相似性匹配算法 * Created by panther on 15-7-20. */ public class Cha { Map<Character, int[]> vectorMap = new HashMap<Character, int[]>(); int[] tempArray = null; public Cha(String string1, String string2) { for (Character character1 : string1.toCharArray()) { if (vectorMap.containsKey(character1)) { vectorMap.get(character1)[0]++; } else { tempArray = new int[2]; tempArray[0] = 1; tempArray[1] = 0; vectorMap.put(character1, tempArray); } } for (Character character2 : string2.toCharArray()) { if (vectorMap.containsKey(character2)) { vectorMap.get(character2)[1]++; } else { tempArray = new int[2]; tempArray[0] = 0; tempArray[1] = 1; vectorMap.put(character2, tempArray); } } } // 求余弦相似度 public double sim() { double result = 0; result = pointMulti(vectorMap) / sqrtMulti(vectorMap); return result; } private double sqrtMulti(Map<Character, int[]> paramMap) { double result = 0; result = squares(paramMap); result = Math.sqrt(result); return result; } // 求平方和 private double squares(Map<Character, int[]> paramMap) { double result1 = 0; double result2 = 0; Set<Character> keySet = paramMap.keySet(); for (Character character : keySet) { int temp[] = paramMap.get(character); result1 += (temp[0] * temp[0]); result2 += (temp[1] * temp[1]); } return result1 * result2; } // 点乘法 private double pointMulti(Map<Character, int[]> paramMap) { double result = 0; Set<Character> keySet = paramMap.keySet(); for (Character character : keySet) { int temp[] = paramMap.get(character); result += (temp[0] * temp[1]); } return result; } public static void main(String[] args) throws IOException { Chachong cha=new Chachong(); InformationDao indao=new InformationDao(); List<Information> infos=indao.loadAll(); String baiduAll=""; String information=""; //List<String> chaoxi = new ArrayList<String>(); for(Information info:infos)//查重数据库中所有词条内容 { String key[]=info.getKeyword().split(" ");//划分关键字 //按照标题爬去查重 List<String> fenci= getSplitWords(info.getTitle());//划分标题 for(String ke:fenci) { boolean b=true; for(String name:key)//如果标题划分的词语在关键字中存在，就不再查重 { if(ke.equals(name)); { b=false; } } //System.out.println(ke); String baidu[]=cha.paqu(ke); if(baidu.length!=0&&b==true)//查重 { String juhao[]=info.getContent().split("。");//对热词内容进行“。”的划分 String[]cont=new String[500];//初始化逗号句号划分内容 int x=0; for(String douhao:juhao) { String temp[]=douhao.split("，");//对热词内容进行逗号的划分 for(String dou:temp) { //System.out.println(dou); cont[x]=dou; x++; } } String bai[]=baidu[1].split("。");//对百度词条内容进行“。”的划分 String[]baidu1=new String[500];//初始化百度划分 int y=0; for(String douhao:bai) { String temp[]=douhao.split("，");//对百度内容逗号的划分 for(String dou:temp) { baidu1[y]=dou; y++; } } for(String con:cont)//将划分好的百度内容和数据库中热词的内容进行相似度的对比 { for(String ba:baidu1) { if(con!=null&&ba!=null) { //System.out.println(con); Cha similarity = new Cha(ba, con); if(similarity.sim()>=0.8&&con.length()>=13)//如果相似度大于0.8且句子长度大于等于13则认为抄袭 { System.out.println(info.getIndex()+"抄袭"+con); System.out.println(similarity.sim()); indao.add(con,info.getIndex()); } } } } //System.out.println(ke); //indao.add(co, info.getIndex()); } } //按数据库中划分的关键字查重 String key1[]=info.getKeyword().split(" "); //System.out.println(info.getTitle()); information=information+info.getContent(); for(String name:key1) { String baidu[]=cha.paqu(name); //baiduAll=baiduAll+baidu[1]; String juhao[]=info.getContent().split("。"); String[]cont=new String[500]; int x=0; for(String douhao:juhao) { String temp[]=douhao.split("，"); for(String dou:temp) { //System.out.println(dou); cont[x]=dou; x++; } } String bai[]=baidu[1].split("。");//先按句号划分百度内容 String[]baidu1=new String[500]; int y=0; for(String douhao:bai) { String temp[]=douhao.split("，");//逗号划分百度内容 for(String dou:temp) { baidu1[y]=dou; y++; } } for(String con:cont) { for(String ba:baidu1) { if(con!=null&&ba!=null) { //System.out.println(con); Cha similarity = new Cha(ba, con); if(similarity.sim()>=0.8&&con.length()>=13)//如果相似度大于0.8且句子长度大于等于13则认为抄袭 { System.out.println(info.getIndex()+"抄袭"+con); System.out.println(similarity.sim()); indao.add(con,info.getIndex()); } } } } } // } /*String str1 = "互联网+概念于2012年11月易观国际董事长兼首席执行官于扬首次提出，并于2015年7月4日，国务院印发了《国务院关于积极推进“互联网+”行动的指导意见》。“互联网+”作为知识社会创新2.0推动下的互联网形态演进，成为了中国互联网发展的新形态和新业态。“互联网+”既是互联网的移动与泛在，促进了传统行业与互联网的融合及应用，将数据、计算、知识三者融合，使创新渗入到各行各业，从而开创了创新驱动发展的“新常态”。 "; String [] key=str1.split("，"); String str2 = "互联网+概念于2012年11月易观国际董事长兼首席执行官于扬首次提出"; for(String str:key) { Cha similarity = new Cha(str, str2); if(similarity.sim()>=0.9) { System.out.println(str); System.out.println(similarity.sim()); } }*/ /*String[] arr1 = str1.split(",") ; String[] arr2 = str2.split(",") ; StringBuffer sb = new StringBuffer(); for (int i = 0; i < arr2.length; i++){ for (int j = 0; j < arr1.length; j++){ if (arr1[j].equals(arr2[i])){ sb.append(arr1[j] + ",") ; } } } System.out.println("结果：" + sb.toString().substring(0, sb.toString().length()));*/ } private static List<String> getSplitWords(String sentence) { // 去除掉html标签 sentence = Jsoup.parse(sentence.replace(" ","")).body().text(); // 标点符号会被单独分为一个Term，去除之 return HanLP.segment(sentence).stream().map(a -> a.word).filter(s -> !"`~!@#$^&*()=|{}':;',\\[\\].<>/?~！@#￥……&*（）——|{}【】‘；：”“'。，、？ ".contains(s)).collect(Collectors.toList()); } }
写入数据库截图如下：
