看了下larbin

larbin是个高效的网络爬虫，可扩充性强，扩充的地方留置了接口。 这个项目虽然好，可已经很久没有更新了，现在的新编译器都编译不了，改了一些代码。 试运行了一下，抓取速度是快。 larbin还有些功能可能加上，它会变的更强大： 分布式抓取。 https支持。