Scrapy 中 Downloader 设置代理

from scrapy.downloadermiddlewares.httpproxy import HttpProxyMiddleware
class MyProxyMiddleware:
    def process_request(self, request, spider):
        # request.meta['proxy'] ='http://ip:port'
        # request.meta['proxy'] ='http://name:pwd@ip:port'
        request.meta['proxy'] ='http://139.224.211.212:8080'

Scrapy 中 Downloader 设置代理

DOWNLOADER_MIDDLEWARES = {
  'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware':None,
  "scrapy06.middlewares.MyProxyMiddleware": 543,
}

 

posted @   jiang_jiayun  阅读(26)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
点击右上角即可分享
微信分享提示