网络爬虫

火车头采集器,http://www.locoy.com/

 

如果你想自己写爬虫,可以用基于爬虫框架开发,例如python的scrapy。

 

假如是垂直爬虫的话,Java党推荐WebMagic。是引擎爬虫的话推荐用Nutch

 

scrapy是不错的选择,可以看看简单的入门教程

 

你可以试下神箭手云爬虫( http://www.shenjianshou.cn )

完全在云上编写和执行爬虫,不需要配置任何开发环境,快速开发快速实现。

posted @ 2016-08-13 20:08  zengkefu  阅读(237)  评论(0编辑  收藏  举报