Scrapy如何在爬虫类中导入settings配置
假设我们在settings.py定义了一个IP地址池
##### 自定义设置
IP_PROXY_POOL = (
"127.0.0.1:6789",
"127.0.0.1:6789",
"127.0.0.1:6789",
"127.0.0.1:6789",
)
要在爬虫文件中使用配置项的方法
- 第一个中最直接方法
from 项目.settings import XXXXXX
- 调用scrapy提供的函数
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
IP_PROXY_POOL = settings.get("IP_PROXY_POOL")
request.meta['proxy'] = random.choice(IP_PROXY_POOL)
本文来自博客园,作者:蕝戀,转载请注明原文链接:https://www.cnblogs.com/juelian/p/17559635.html