摘要： 近日，想写一个小型的爬虫框架，可惜的是，zero并没有写框架的经验。因此有必要找一个现有框架来参照下。GOOGLE了下，发现Crawler最适合作为将要写的框架的参照物。Crawler是一个简单的爬虫框架，它实现了爬虫的共同部分，如URL拼接，网页编码等，使得用户可以专注于提取网页内容（原文：Crawler is a simple Java web crawler/spider/joe or any other name you want to call it.The main goal is to abstract that boring and error-prone code fro.. 阅读全文