摘要: 一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源,但是设计javascript渲染的页面却不能抓取,此时,我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascript渲染的页面,下面实现一个简单的爬取 环境搭建 准备工具 阅读全文
posted @ 2017-06-12 17:34 amchen 阅读(22030) 评论(0) 推荐(0) 编辑