scrapy配置user-agent中间件和ip代理中间件
摘要:
middlewares.py文件中添加如下的信息: # 使用了fake库 from fake_useragent import UserAgent # 配置headers class RandomUserAgentMidddlware(object): # 随机更换user-agent def __ 阅读全文
posted @ 2022-04-17 23:08 耀扬 阅读(125) 评论(0) 推荐(0) 编辑