摘要: 创建scrapy工程项目,除了爬虫文件中的代码需要略微修改,其他模块用法相同(如中间件,管道等); 爬虫文件代码流程 导入链接提取器 from scrapy.linkextractors import LinkExtractor 导入规则解析器 from scrapy.spiders import 阅读全文
posted @ 2019-05-13 21:10 adrrfsfsd 阅读(701) 评论(0) 推荐(0) 编辑
摘要: selenium可以用来完成浏览器自动化相关的操作,写一些代码制定一些基于浏览器自动化的相关操作(行为动作),当代码执行后,浏览器就会自动触发相关的事件 安装方法: pip install selenium 下载对应浏览器的驱动程序 谷歌浏览器驱动下载地址: https://chromedriver 阅读全文
posted @ 2019-05-13 20:08 adrrfsfsd 阅读(4948) 评论(0) 推荐(0) 编辑