摘要：
几个Java的网络爬虫，有兴趣的可以参考一下，也可以改成C#的。我用过其中J-spider，只爬取网页，不做解析。感兴趣的可以把这个下载下来，看看源代码。我最初的爬虫就是用J-spider扩展的，后来因为字符的编码问题，就放弃了改用C#。页面：http://www.open-open.com/68.htmHeritrix点击次数：9563Heritrix是一个开源，可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。WebSPHINX点击次数：7273WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。Web爬虫( 阅读全文