摘要：一、scrapy选择器 1.使用Xshell工具命令窗口中测试选择器（不用连接远程ip，直接在本地输入以下命令即可） 1 scrapy shell https://www.toutiao.com/ 2.接着，当shell载入后，您将获得名为 response 的shell变量，其为响应的respon 阅读全文

摘要：一、scrapy工作流程 （出自该博客：https://www.cnblogs.com/hewanli/p/12090042.html） 1）当爬虫（Spider）要爬取某URL地址的页面时，使用该URL初始化Request对象提交给引擎（Scrapy Engine），并设置回调函数。 Spider 阅读全文