近期的积压,及团购

2012 06 04 整理桌面
http://blog.csdn.net/wenlei_zhouwl/article/details/6645805 crawler4j简介
http://www.cnblogs.com/niuxiaohao/archive/2011/05/18/2050271.html log4j

Carrot2(http://project.carrot2.org/)是一个开源的聚类搜索引擎，可以把其它网站的搜索结果聚类。

Weka(http://www.cs.waikato.ac.nz/ml/weka/)中有个DBScan算法的实现。源代码在weka.clusterers包中，文件名为DBScan.java。 

网络爬虫工具介绍

(2012-03-25 10:22:02)

转载▼

标签： web爬虫 it

分类： J2EE框架

Heritrix是一个开源的爬虫框架。

WebSPHINX是一个Java类包与Web爬虫的交互式开发环境。

WebLech是一个功能强大的Web站点下载与镜像工具。

Arale主要为个人使用而设计，而没有像其他爬虫一样关注于页面搜索。

Jspider是一个完全可配置和订制的Web Spider引擎。

Spindle是一个构建在Lucene工具包(是一个基于Java的全文信息检索工具包)之上的Web索引搜索工具。

Arachnid是一个基于Java的网络爬虫框架。

LARM能够为Jakarta Lucene搜索引擎框架的用户提供一个纯Java的搜索解决方案。它包含能够为文件，数据库表格建立索引的方法和为Web站点建索引的爬虫。

JoBo是一个用于下载整个Web站点的简单工具。它本质是一个Web Spider。

Snoics-retrieval是基于Lucene全文检索框架。

Snoics-reptile是用纯Java开发的，用来进行网站镜像抓取的工具。

Smart and Simple Web Crawler是一个Web爬虫框架。集成Lucene支持。

Crawler4j是一个开源的Java类库提供一个用于抓取Web页面的简单接口。

Crawler是一个简单的Web爬虫。

http://blog.sina.com.cn/s/blog_93c7eeec01012334.html

(和spring如何集成)， 模拟登录，实现数据采集，(当前应用的是Crawler4j和jsoup结合实现数据抓取)

 http://www.cnblogs.com/panjun-Donet/articles/1133627.html

you can use scala, it is similar in syntax and it's actually probably more powerful than linq.

java 类似linq的功能

顺便给个 防网络爬虫 比较成功的网站 www.icmaster.com

http://www.nuomi.com/deal/hlsmf222.html

 http://www.linuxso.com/php/16911.html mysql连接字符串

Http详解

http://www.cnblogs.com/li0803/archive/2008/11/03/1324746.html

 

使用Tidy 把html转成xml,然后用dom4j 解析xml;

http://www.iteye.com/topic/828723

 

java多线程

fork-join框架的设计，使分而治之算法易于并行