摘要:
注:scrapy框架默认发送get请求 1. scrapy.FormRequest(url,formdata=data,callback=self.parse_page) 2. scrapy.Request(url=url, cookies=self.cookie, headers=self.hea 阅读全文
摘要:
1.可以方便我们做一些数据提取的测试代码; 2.如果想要执行scrapy命令,那么毫无疑问,肯定是要先进入到scrapy所在的环境中; 3.如果想要读取某个项目的配置信息,那么应该先进入到这个项目中。再执行scrapy shell + url 命令。 阅读全文
摘要:
1.allow设置规则的方法:要能够限制在我们想要的url上面。不要跟其他的url产生相同的正则表达式即可; 2.什么情况下使用follow:如果在爬取页面的时候,需要将满足当前条件的url再进行跟进,那么就设置为True。否则设置为False; 3.什么情况下该指定callback:如果这个url 阅读全文