基于alpine创建Scrapy镜像
摘要：在dockerhub上发现了一些更加小的官方镜像： link: https://registry.hub.docker.com/_/python?tab=tags&page=1&ordering=last_updated docker pull python:3.7.11-slim 113MB do
阅读全文
posted @
2021-07-14 10:32
lshan
阅读(85)
推荐(0) 编辑
scrapy-redis redis 认证 & 配置db
摘要：# 使用scrapy_redis的调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 使用scrapy_redis的去重机制 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" #
阅读全文
posted @
2021-07-05 11:35
lshan
阅读(154)
推荐(0) 编辑
Scrapy回调函数callback传递参数的方式
摘要：Scrapy回调函数: yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=json.dumps(request_params), callback=self
阅读全文
posted @
2021-04-30 14:20
lshan
阅读(247)
推荐(0) 编辑
