摘要：
部分内容转自：http://blog.csdn.net/hguisu/article/details/8024799一、 开源项目apache lucene是apache下一个著名的开源搜索引擎内核，基于Java技术，处理索引，拼写检查，点击高亮和其他分析，分词等技术。nutch和solr原来都是l... 阅读全文
摘要：
1、相关资料官方文档：http://htmlparser.sourceforge.net/samples.htmlAPI：http://htmlparser.sourceforge.net/javadoc/index.html其它HTML 解释器：jsoup等。由于HtmlParser自2006年以... 阅读全文
摘要：
截止目前，已完成如下功能：1、指定某个地址，使用HttpClient下载该网页至本地文件2、使用HtmlParser解释第1步下载的网页，抽取其中包含的链接信息3、下载第2步的所有链接指向的网页至本地文件下一步需要完成的功能：1、创建用于保存种子URL的配置文件及其数据结构2、创建用于保存Todo信... 阅读全文
摘要：
学习金字塔是美国缅因州的国家训练实验室研究成果，它用数字形式形象显示了：采用不同的学习方式，学习者在两周以后还能记住内容（平均学习保持率）的多少。它是一种现代学习方式的理论。最早它是由美国学者、著名的学习专家爱德加·戴尔1946年首先发现并提出的。内容编辑在塔尖，第一种学习方式——“听讲”，也就是老... 阅读全文
摘要：
关于HtmpParser的基本内容请见 HtmlParser基础教程本文示例用于提取HTML文件中的链接package org.ljh.search.html;import java.util.HashSet;import java.util.Set;import org.htmlparser.No... 阅读全文
摘要：
转自：http://free0007.iteye.com/blog/1131163HTMLParser具有小巧，快速的优点，缺点是相关文档比较少（英文的也少），很多功能需要自己摸索。对于初学者还是要费一些功夫的，而一旦上手以后，会发现HTMLParser的结构设计很巧妙，非常实用，基本你的各种需求都... 阅读全文
摘要：
本文使用HttpClient根据url进行网页下载。其中（1）HttpClient的相关知识请参见 HttpClient基础教程（2）package org.ljh.search.downloadpage;import java.io.FileNotFoundException;import jav... 阅读全文
摘要：
1、HttpClient相关的重要资料官方网站：http://hc.apache.org/API：http://hc.apache.org/httpcomponents-client-4.3.x/httpclient/apidocs/index.htmltutorial:http://hc.apac... 阅读全文
摘要：
转自：http://blog.csdn.net/hguisu/article/details/7949844通用搜索引擎的处理对象是互联网网页，目前网页数量以百亿计，搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地，在本地 形成互联网网页的镜像备份。它是搜索引擎系统中很关键也很基础的构件。1... 阅读全文
摘要：
转自：http://blog.csdn.net/hguisu/article/details/79559851. 搜索引擎的分类搜索引擎按其工作方式主要可分为三种：分别是全文搜索引擎（Full Text Search Engine）目录索引类搜索引擎（Search Index/Directory）元... 阅读全文