摘要：
参考官方文档：[https://docs.scrapy.org/en/latest/topics/jobs.html?highlight=JOBDIR#jobs-pausing-and-resuming-crawls](https://docs.scrapy.org/en/latest/topics 阅读全文
摘要：
CrawlSpider类型的爬虫会根据指定的rules规则自动找到url比自动爬取。 优点：适合整站爬取，自动翻页爬取 缺点：比较难以通过meta传参，只适合一个页面就能拿完数据的。 ```Python import scrapy from scrapy.http import HtmlRespon 阅读全文
摘要：
num = 0 ```Python import scrapy from scrapy.http import HtmlResponse from scrapy_demo.items import DoubanItem """ 这个例子主要是学习meta传参。 """ class DoubanSpi 阅读全文
摘要：
假设我们在settings.py定义了一个IP地址池 ```Bash ##### 自定义设置 IP_PROXY_POOL = ( "127.0.0.1:6789", "127.0.0.1:6789", "127.0.0.1:6789", "127.0.0.1:6789", ) ``` 要在爬虫文件中 阅读全文
摘要：
```Python # Scrapy settings for scrapy_demo project # # For simplicity, this file contains only settings considered important or # commonly used. You 阅读全文
摘要：
```Python import scrapy from scrapy.http.request import Request from scrapy.http.response.html import HtmlResponse from scrapy_demo.items import Forum 阅读全文
摘要：
# 创建项目 **执行命令** ```Bash scrapy startproject ``` # **项目结构**  阅读全文
摘要：
有些网站时一直滚动就会加载新数据的，在selenium中解决方法： ```Python def loaddata_by_scroll(self, driver): js = 'return document.body.scrollHeight;' # 获取当前高度 check_height = dr 阅读全文
摘要：
```Python """ P.S：需要接管现有浏览器 ** 使用步骤： 1、打开浏览器，设置好远程调试端口，并扫描登录淘宝。 chrome.exe --remote-debugging-port=9333 --user-data-dir="G:\spider_taobao"** 2、运行程序，自动 阅读全文