scrapy入门
什么是scrapy?
scrapy是一个为了爬去网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速的抓取
scrapy使用了 Twisted 异步网络框架,可以加快我们的下载速度
异步和非阻塞的区别
异步:调用在发布之后,这个调用就直接返回,不管有无结果
非阻塞:关注的是程序在等待调用结果(消息,返回值)时的状态,指在不能立刻得到结果之前,该调用不会阻塞当前线程
安装scrapy
直接安装可能会报错
-
第一步 下载Twisted
- 点击 https://www.lfd.uci.edu/~gohlke/pythonlibs/
- 搜索 Twisted 选择与你的python版本相对应的版本
- 查看python版本命令 python -V或着python -version
-
第二步 安装Twisted
- 进入到刚刚下载的Twisted所在的目录,执行 pip install Twisted‑18.9.0‑cp36‑cp36m‑win_amd64.whl(刚刚下载的文件)
-
第三部 安装scrapy
- pip install scrapy
scrapy项目流程
- 创建项目
- scrapy startproject 项目名
- 如:scrapy startproject Myspider
- 创建爬虫
- cd 项目名
- 如:cd Myspider
- scrapy genspider <爬虫名字> <限制访问的网站(allowed_domains)>
- 如:scrapy genspider itcast itcast.cn
- 启动爬虫
- scrapy crawl 爬虫名
- 如:scrapy crawl itcast
- 完善spider
- 完善管道
完善spider
- parse方法必须有,用来处理start_urls对应的响应
- extract() response.xpath()从中提取数据的方法,没有就返回一个空列表
数据提取url地址补全
- 1.手动字符串相加
- 2.urllib.parse.urljoin(baseurl.url)
- 后面的url会根据baseurl进行url地址的拼接
- 3.response.follow(url, callback)
- 能够根据response的地址把url拼接完整,构造成request对象
scrapy构造请求
- scrapy.Request(url, callback, meta, dont_filter=False)
- callback:url地址的响应的处理函数
- meta:实现在不同的解析函数中传递数据
- dont_filter:默认是Faslse表示过滤,scrapy请求过的url地址,在当前的运行程序中
---恢复内容结束---
### 什么是scrapy? scrapy是一个为了爬去网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速的抓取scrapy使用了 Twisted 异步网络框架,可以加快我们的下载速度
异步和非阻塞的区别
异步:调用在发布之后,这个调用就直接返回,不管有无结果
非阻塞:关注的是程序在等待调用结果(消息,返回值)时的状态,指在不能立刻得到结果之前,该调用不会阻塞当前线程
安装scrapy
直接安装可能会报错
-
第一步 下载Twisted
- 点击 https://www.lfd.uci.edu/~gohlke/pythonlibs/
- 搜索 Twisted 选择与你的python版本相对应的版本
- 查看python版本命令 python -V或着python -version
-
第二步 安装Twisted
- 进入到刚刚下载的Twisted所在的目录,执行 pip install Twisted‑18.9.0‑cp36‑cp36m‑win_amd64.whl(刚刚下载的文件)
-
第三部 安装scrapy
- pip install scrapy
scrapy项目流程
- 创建项目
- scrapy startproject 项目名
- 如:scrapy startproject Myspider
- 创建爬虫
- cd 项目名
- 如:cd Myspider
- scrapy genspider <爬虫名字> <限制访问的网站(allowed_domains)>
- 如:scrapy genspider itcast itcast.cn
- 启动爬虫
- scrapy crawl 爬虫名
- 如:scrapy crawl itcast
- 完善spider
- 完善管道
完善spider
- parse方法必须有,用来处理start_urls对应的响应
- extract() response.xpath()从中提取数据的方法,没有就返回一个空列表
数据提取url地址补全
- 1.手动字符串相加
- 2.urllib.parse.urljoin(baseurl.url)
- 后面的url会根据baseurl进行url地址的拼接
- 3.response.follow(url, callback)
- 能够根据response的地址把url拼接完整,构造成request对象
scrapy构造请求
- scrapy.Request(url, callback, meta, dont_filter=False)
- callback:url地址的响应的处理函数
- meta:实现在不同的解析函数中传递数据
- dont_filter:默认是Faslse表示过滤,表示请求过的url地址,不会被再次请求