摘要：
注：scrapy框架默认发送get请求 1. scrapy.FormRequest(url,formdata=data,callback=self.parse_page) 2. scrapy.Request(url=url, cookies=self.cookie, headers=self.hea 阅读全文
摘要：
1.可以方便我们做一些数据提取的测试代码； 2.如果想要执行scrapy命令，那么毫无疑问，肯定是要先进入到scrapy所在的环境中； 3.如果想要读取某个项目的配置信息，那么应该先进入到这个项目中。再执行scrapy shell + url 命令。 阅读全文
摘要：
1.allow设置规则的方法：要能够限制在我们想要的url上面。不要跟其他的url产生相同的正则表达式即可； 2.什么情况下使用follow：如果在爬取页面的时候，需要将满足当前条件的url再进行跟进，那么就设置为True。否则设置为False； 3.什么情况下该指定callback：如果这个url 阅读全文