Scrapy如何在爬虫类中导入settings配置
假设我们在settings.py定义了一个IP地址池
##### 自定义设置
IP_PROXY_POOL = (
"127.0.0.1:6789",
"127.0.0.1:6789",
"127.0.0.1:6789",
"127.0.0.1:6789",
)
要在爬虫文件中使用配置项的方法
- 第一个中最直接方法
from 项目.settings import XXXXXX
- 调用scrapy提供的函数
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
IP_PROXY_POOL = settings.get("IP_PROXY_POOL")
request.meta['proxy'] = random.choice(IP_PROXY_POOL)
本文来自博客园,作者:运维爱背锅,转载请注明原文链接:https://www.cnblogs.com/juelian/p/17559635.html
分类:
爬虫 / Scrapy框架
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步