Fork me on GitHub
摘要: 在做爬虫服务化时,有这样一个需求:接口用命令行启动爬虫,但是数据入库时要记录此次任务的task_id。 简单说就是,Scrapy命令行启动时要动态传参进去。 解决方案: 在spider中定义一个构造函数 def __init__(self, task_id=None, *args, **kwargs 阅读全文
posted @ 2020-09-01 21:40 暮良文王 阅读(3229) 评论(0) 推荐(0) 编辑