scrapy shell 交互窗口的使用

scrapy shell 交互窗口的使用

目录

• scrapy shell 交互窗口的使用
  • 1、打开scrapy shell
  • 2、利用shell调试代码
    • view()
    • fetch()
    • settings
    • request
    • response
    • scrapy
    • spider、crawler

1、打开scrapy shell

在命令行cmd终端输入命令

# scrapy shell 网址 
scrapy shell http://www.baidu.com
# 注意网址不需要加引号，不是字符串。因为这里是终端。

2、利用shell调试代码

调试scrapy项目代码需要到scrapy项目顶级目录下打开scrapy shell

D:\>cd Demo

D:\Demo>scrapy shell http://www.baidu.com

shell便会自动导入该项目的配置和文件

view()

view(response)	# 用浏览器打开响应内容
# 用于检查网页的真实性

fetch()

fetch(url)		# 发送get请求，获取响应, 重新赋给response
# 可以检查网址是否可用
fetch(Request)	# 使用用请求对象发送get请求，并更新response
# 可以检查请求对象是否正确

settings

输入settings可以查看项目的配置，但不能在shell中修改。shell会返回一个字典显示详细的配置信息。

request

请求对象，可以查看请求头和cookies

request.headers		# 查看请求头，一个字典，字节类型数据
request.cookies		# 查看请求的cookies，一个字典

response

响应对象，是主要的操作对象，有很多方法

# 但有一个不可用
response.content	# scrapy的response不能得到二进制数据
# 只能获取文本
response.text
# 常用方法
# xpath()、get()、getall()
response.xpath().getall()

scrapy

构造请求对象

scrapy.Request(url)

spider、crawler

暂不清楚，待更新