jinhong_lu

摘要： 1、版本说明（1）最新版本：3.3.0（2）最新release版本：3.2.0（3）重要历史版本：1.14.43.1.0及之前的版本：http://sourceforge.net/projects/archive-crawler/files/ 3.2.0及之后的版本：http://archive.o... 阅读全文

摘要： 一、新建项目并将Heritrix源码导入１、下载heritrix-1.14.4-src.zip和heritrix-1.14.4.zip两个压缩包，并解压，以后分别简称SRC包和ZIP包；２、在Eclipse下新建Java项目，取名Heritrix.1.14.4；３、复制SRC包下面src/java文... 阅读全文

摘要： 一、Berkeley DB的介绍（1）Berkeley DB是一个嵌入式数据库，它适合于管理海量的、简单的数据。如Google使用其来保存账户信息，Heritrix用其来保存froniter.（2）key/value是Berkeley DB用来管理数据的基础，每个key/value对代表一条记录。（... 阅读全文

摘要： 详细代码请见E:\Project\【重要】归档代码\SearchEngine归档代码或https://code.csdn.net/jediael_lu/jediael/tree/10991c839c51d32f825708b09451b2618a20ee94或http://download.csdn... 阅读全文

摘要： 详细代码请见E:\Project\【重要】归档代码\SearchEngine归档代码或https://code.csdn.net/jediael_lu/jediael/tree/10991c839c51d32f825708b09451b2618a20ee94或http://download.csdn... 阅读全文

摘要： 1、为什么要使用serialVersionUID（1）对于实现了Serializable接口的类，可以将其序列化输出至磁盘文件中，同时会将其serialVersionUID输出到文件中。（2）然后有需要使用时，再从磁盘将对象内容及serialVersionUID读入内容中的某个对象。（3）将磁盘内容... 阅读全文

摘要： 1、区别（1）String构建的对象不能改变，每次对String进行操作时，如两个String相加，需要新建一个String对象，然后容纳最终的结果。 而StringBuilder与StringBuffer构建的对象可以随时在修改其内容，而无需生成新的对象。一般新建一个对象是会生成16个字节的... 阅读全文

摘要： （一）搜索引擎的开发一般可分为以下三大部分1、数据采集层：一般使用爬虫获取互联网的数据，重要的开源项目有Heritrxi2、数据分析处理层：将从互联网上获取到的数据进行提取归类、分词、语义分析得出索引得内容，等待用户查询使用，重要的开源项目有Lucene3、视图层：也用户的交互界面，如一个网站的首页... 阅读全文

摘要： 部分内容参考《这就是搜索引擎》通用搜索引擎的处理对象是互联网网页，目前网页数量以百亿计，搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地，在本地 形成互联网网页的镜像备份。它是搜索引擎系统中很关键也很基础的构件。（一）网络爬虫本质就是浏览器http请求浏览器和网络爬虫是两种不同的网络客户端，... 阅读全文

摘要： 详细可参考（1）书箱：《这就是搜索引擎》《自己动手写网络爬虫》《解密搜索引擎打桩实践》（2）【搜索引擎基础知识1】搜索引擎的技术架构（3）【搜索引擎基础知识2】网络爬虫的介绍（一）搜索引擎的开发一般可分为以下三大部分1、数据采集层：一般使用爬虫获取互联网的数据，重要的开源项目有Heritrxi2、数... 阅读全文