Scrapy中怎么传递用户自定义的参数到爬虫文件所在的类中呢?
问题:
我试图将用户定义的参数传递给scrapy的爬虫文件。我知道应该使用 -a 参数 但是我对于这个参数不是太明白?
想要通过crawl命令行命令传入自定义参数应该使用-a选项,例如:
scrapy crawl myspider -a category=electronics -a domain=system
爬虫可以将参数以属性的方式传递进来:
class MySpider(scrapy.Spider): name = 'myspider' def __init__(self, category='', **kwargs): self.start_urls = [f'http://www.example.com/{category}'] # py36 super().__init__(**kwargs) # python3 def parse(self, response) self.log(self.domain) # system