python 基础 之 ipython scrapy shell
IPython
是一个基于 Python 的交互式计算环境，它为用户提供了一个更为强大和丰富的界面来使用Python语言。相较于标准的Python解释器，IPython提供了更多的增强功能，例如提供智能的自动补全，高亮输出，及其他特性。
如果我们安装了IPython，scrapy终端将使用IPython (替代标准Python终端)。 IPython终端与其他终端命令行工具相比更为强大。
安装: pip install ipython
Scrapy Shell的使用方法
1、启动Scrapy Shell <URL>
要启动Scrapy Shell，可以在命令行中输入以下命令：
scrapy shell <URL>
其中，
2、使用Scrapy Shell查看网页内容
在Scrapy Shell中，可以直接输入response来获取响应对象，并通过响应对象访问网页内容。例如，可以使用以下代码提取网页标题：
response.title.strip()
Scrapy Shell会自动将响应对象注入到shell环境中，因此可以直接访问响应对象的属性和方法。
3、使用Scrapy Shell进行断言和调试
在Scrapy Shell中，可以使用Python的断言语句来进行数据验证。例如，可以断言某个元素的文本是否符合预期：
assert response.css('h1.title').get().strip() == 'Expected Title'
如果断言失败，Scrapy Shell会显示断言错误，并允许开发者继续在shell环境中进行调试。
4、使用Scrapy Shell修改请求和响应
在Scrapy Shell中，可以直接修改请求和响应对象的内容。例如，可以修改请求头、请求URL、请求方法等，或者修改响应内容。这些修改可以在shell环境中立即生效，并允许开发者测试和调整爬虫的行为。例如，可以修改请求头中的User-Agent：
request.headers['User-Agent'] = 'New User-Agent'
5、Scrapy Shell的退出与清理
当开发者完成在Scrapy Shell中的操作时，可以输入exit()或Ctrl+D退出shell环境。退出后，Scrapy Shell会自动清理和释放相关资源。
