Scrapy如何在爬虫类中导入settings配置

假设我们在settings.py定义了一个IP地址池

##### 自定义设置
IP_PROXY_POOL = (
   "127.0.0.1:6789",
   "127.0.0.1:6789",
   "127.0.0.1:6789",
   "127.0.0.1:6789",
)

要在爬虫文件中使用配置项的方法

  • 第一个中最直接方法
from 项目.settings import XXXXXX
  • 调用scrapy提供的函数
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
IP_PROXY_POOL = settings.get("IP_PROXY_POOL")
request.meta['proxy'] = random.choice(IP_PROXY_POOL)
posted @   运维爱背锅  阅读(107)  评论(0编辑  收藏  举报
点击右上角即可分享
微信分享提示
💬
评论
📌
收藏
💗
关注
👍
推荐
🚀
回顶
收起
  1. 1 404 not found REOL
404 not found - REOL
00:00 / 00:00
An audio error has occurred.