很多博客的db参数配置都不能用,所以记录一下该版本可用的配置
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'
REDIS_PARAMS = {
'host': '39.107.253.135',
'port':'63790',
'password': '7890',
'db': 0
}
将url放入redis
from redis import Redis
red = Redis(host='39.107.253.135', port=63790, password='7890', db='8')
for page in range(1, 23, 1):
p = (page-1)*12
url = 'https://maoyan.com/cinemas?offset=' + str(p)
red.lpush('maoyan:start_urls', url)
在爬虫页面
from scrapy_redis.spiders import RedisSpider
class MySpider(RedisSpider):
name = 'my'
redis_key = 'maoyan:start_urls'
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Java 中堆内存和栈内存上的数据分布和特点
· 开发中对象命名的一点思考
· .NET Core内存结构体系(Windows环境)底层原理浅谈
· C# 深度学习:对抗生成网络(GAN)训练头像生成模型
· .NET 适配 HarmonyOS 进展
· 本地部署 DeepSeek:小白也能轻松搞定!
· 如何给本地部署的DeepSeek投喂数据,让他更懂你
· 从 Windows Forms 到微服务的经验教训
· 李飞飞的50美金比肩DeepSeek把CEO忽悠瘸了,倒霉的却是程序员
· 超详细,DeepSeek 接入PyCharm实现AI编程!(支持本地部署DeepSeek及官方Dee