会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
暮良文王
不奋发,则心日颓靡; 不检束,则心日恣肆。
博客园
首页
新随笔
联系
订阅
管理
2020年9月1日
Scrapy命令行调用传入自定义参数
摘要: 在做爬虫服务化时,有这样一个需求:接口用命令行启动爬虫,但是数据入库时要记录此次任务的task_id。 简单说就是,Scrapy命令行启动时要动态传参进去。 解决方案: 在spider中定义一个构造函数 def __init__(self, task_id=None, *args, **kwargs
阅读全文
posted @ 2020-09-01 21:40 暮良文王
阅读(3229)
评论(0)
推荐(0)
编辑
公告