php 爬虫框架

发现两款不错的爬虫框架,极力推荐下:

phpspider

一款优秀的PHP开发蜘蛛爬虫

官方下载地址:https://github.com/owner888/phpspider

官方开发手册:https://doc.phpspider.org/

QueryList

使用jQuery选择器来做采集,告别复杂的正则表达式;QueryList具有jQuery一样的DOM操作能力、Http网络操作能力、乱码解决能力、内容过滤能力以及可扩展能力;

可以轻松实现诸如:模拟登陆、伪造浏览器、HTTP代理等意复杂的网络请求;拥有丰富的插件,支持多线程采集以及使用PhantomJS采集JavaScript动态渲染的页面。

官方下载地址:https://github.com/jae-jae/QueryList

官方开发手册:https://doc.querylist.cc/

posted @ 2018-09-15 07:24  周伯通之草堂  阅读(7674)  评论(0编辑  收藏  举报