摘要:1、基础内容(1)相关概念分析(Analysis),在Lucene中指的是将域(Field)文本转换成最基本的索引表示单元--项(Term)的过程。在搜索过程中,这些项用于决定什么样的文档能够匹配查词条件。分析器对分析操作进行了封装,它通过执行若干操作,将文本转化成语汇单元,这个处理过程也称为语汇单... 阅读全文
【Lucene4.8教程之六】QueryParser与Query子类:如何生成Query对象
2014-06-22 09:35 by jediael, 181 阅读, 0 推荐, 收藏, 编辑
摘要:一、概述1、对于一个搜索而言,其核心语句为:searcher.search(query, 10);此时,其最重要的参数为一个Qeury对象。构造一个Query对象有2种方法:(1)使用Query的子类创建一个对象。(2)使用QueryParser.parse()创建一个对象。常用的用于实例化一个对象... 阅读全文
【Lucene4.8教程之三】搜索
2014-06-21 09:53 by jediael, 135 阅读, 0 推荐, 收藏, 编辑
摘要:1、关键类Lucene的搜索过程中涉及的主要类有以下几个:(1)IndexSearcher:执行search()方法的类(2)IndexReader:对索引文件进行读操作,并为IndexSearcher提供搜索接口(3)Query及其子类:查询对象,search()方法的重要参数(4)QueryPa... 阅读全文
Java路径问题最终解决方案—可定位所有资源的相对路径寻址
2014-06-20 15:20 by jediael, 545 阅读, 0 推荐, 收藏, 编辑
摘要:1、在Java项目中,应该通过绝对路径访问文件,以下为访问的常用方法:第一种方法:类名.class.getResource("/").getPath()+文件名第二种方法:Thread.currentThread().getContextClassLoader().getResource("").g... 阅读全文
java.util.logging.Logger基础教程
2014-06-18 11:02 by jediael, 161 阅读, 0 推荐, 收藏, 编辑
摘要:从JDK1.4开始即引入与日志相关的类java.util.logging.Logger,但由于Log4J的存在,一直未能广泛使用。综合网上各类说法,大致认为: (1)Logger:适用于小型系统,当日志量过大时性能有待提升。好处在于JDK集成了此类,无需引入新包。且性能也在逐步改善当中,我认为... 阅读全文
【Lucene4.8教程之二】索引
2014-06-16 11:30 by jediael, 145 阅读, 0 推荐, 收藏, 编辑
摘要:一、基础内容0、官方文档说明(1)org.apache.lucene.index provides two primary classes: IndexWriter, which creates and adds documents to indices; and IndexReader, whic... 阅读全文
【Lucene4.8教程之一】使用Lucene4.8进行索引及搜索的基本操作
2014-06-11 10:47 by jediael, 120 阅读, 0 推荐, 收藏, 编辑
摘要:在Lucene对文本进行处理的过程中,可以大致分为三大部分:1、索引文件:提取文档内容并分析,生成索引2、搜索内容:搜索索引内容,根据搜索关键字得出搜索结果3、分析内容:对搜索词汇进行分析,生成Quey对象。注:事实上,除了最基本的完全匹配搜索以外,其它都需要在搜索前进行分析。如不加分析步骤,则搜索... 阅读全文
重要学习参考资料
2014-06-09 21:21 by jediael, 197 阅读, 0 推荐, 收藏, 编辑
摘要:搜索及数据处理LuceneSSolrSHadoop/SparkSNutchATikaBHeritrixCJAVAJAVA SEA算法基础算法、搜索相关实用算法AJava WebJSP/Servlet、SSH、WS、MavenBLinuxShell、管理B云计算云计算B计算机基础软件工程、设计模式、操... 阅读全文
【Heritrix基础教程之4】开始一个爬虫抓取的全流程代码分析
2014-06-04 20:10 by jediael, 151 阅读, 0 推荐, 收藏, 编辑
摘要:在创建一个job后,就要开始job的运行,运行的全流程如下:1、在界面上启动job2、index.jsp查看上述页面对应的源代码Start3、action.jsp String sAction = request.getParameter("action"); if(sAction !=... 阅读全文
【Heritrix基础教程之3】Heritrix的基本架构
2014-06-01 16:56 by jediael, 133 阅读, 0 推荐, 收藏, 编辑
摘要:Heritrix可分为四大模块:1、控制器CrawlController2、待处理的uri列表 Frontier3、线程池 ToeThread4、各个步骤的处理器(1)Pre-fetch processing chain:主要处理DNS-lookup, robots.txt,认证,抓取范围检查等。(... 阅读全文