随笔分类 - scrapy
scrapy奇技淫巧1
摘要：Request传递值到callback回调函数 def parse(self, response): request = scrapy.Request('http://www.example.com/index.html', callback=self.parse_page2, cb_kwargs=
downloader middleware的三个methods不同返回的情况
摘要：要激活一个meddleware, 要在设置里面添加。例如： DOWNLOADER_MIDDLEWARES = { 'myproject.middlewares.CustomDownloaderMiddleware': 543, } key是要激活的middleware的路径， value是它的val
