scrapy 使用代理ip
1、在settings文件中添加ip池
IPPOOL=['xxx.xx.xx.xx','xxx.xx.xxx.xx']
2、在middleware文件中添加自己的代理ip类(首先需要导入ipPOOL,random模块)
class Myproxymiddleware(object):
def __init__(self,ip=''):
self.ip = ip
def process_request(self,request,spider)
ip = random.choice(IPPOOL)
request.meta['proxy'] = "http://"+ip
3、在setings中注释掉原先的中间件,启用代理ip 中间件,然后添加自己写的中间件
'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware':543,
4、启用自己写的代理中间件
'projectname.middlewares.MyproxySpiderMiddleware':125
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· .NET 9 new features-C#13新的锁类型和语义
· Linux系统下SQL Server数据库镜像配置全流程详解
· 现代计算机视觉入门之:什么是视频
· 你所不知道的 C/C++ 宏知识
· 聊一聊 操作系统蓝屏 c0000102 的故障分析
· 不到万不得已,千万不要去外包
· C# WebAPI 插件热插拔(持续更新中)
· 会议真的有必要吗?我们产品开发9年了,但从来没开过会
· 如何打造一个高并发系统?
· 《SpringBoot》EasyExcel实现百万数据的导入导出