2022年12月8日
分布式爬虫框架部署
摘要： # 分布式爬虫框架部署 ## 1 加代理，cookie，header，加入selenium ### 1.1 加代理 ```python # 在爬虫中间件中 def get_proxy(self): import requests res=requests.get('http://192.168.1. 阅读全文
posted @ 2022-12-08 22:02 Joseph-bright 阅读(66) 评论(0) 推荐(0) 编辑