摘要：
Downloader Middleware 的用法 Downloader Middleware 即下载中间件，它是处于Scrapy 的Request 和Response之间的处理模块。 Downloader Middleware 在整个架构中起作用的位置是以下两个： 在Scheduler 调度出队列 阅读全文
摘要：
一.爬虫项目类相关属性 name 。爬虫名称，是定义Spider 名字的字符串。Spider 的名字定义了Scrapy 如何定位并初始化Spider，它必须是唯一的。不过我们可以生成多个相同的Spider 实例，数量没有限制。 allowed_domains 。允许爬取的域名，是可选配置，不在此范围 阅读全文
摘要：
爬虫基础 爬虫的Robots协议 请求库之requests库 解析库beautifulsoup 爬取汽车之家新闻 搭建免费代理池 验证码破解 模拟自动登录网站 xpath路径 selenium简介与安装 selenium的使用 Scrapy框架 Scrapy 架构介绍 scrapy 框架的安装与启动 阅读全文
摘要：
Scrapy持久化 方式一（了解）： 此方式针对小型项目，利用其可以轻松将输出抓取到文件中 1 parser解析函数，return 列表，列表套字典 2 命令行持久化到文件中：scrapy crawl chouti -o aa.json (支持：('json', 'jsonlines', 'jl', 阅读全文