scrapy中间件中使用selenium切换ip
scrapy抓取一些需要js加载页面时一般要么是通过接口直接获取数据,要么是js加载,但是我通过selenium也可以获取动态页面
但是有个问题,容易给反爬,因为在scrapy中间件mid中使用selenium的ip不会跟着你在中间件中切换的ip变化,还是使用本机的ip在访问网站,
这里通过 确定网页url进行过滤,什么网页使用selenium,什么使用scrapy自带的抓取,
为selenium单独设置一个获取ip的办法,当然也可以使用全局变量
from selenium import webdriver from scrapy.http.response.html import HtmlResponse from selenium.webdriver.chrome.options import Options import json import requests class ip_mid(object): def __init__(self): self.ip = '' self.url = 'http://proxy.1again.cc:35050/api/v1/proxy/?type=2' self.ip_num = 0 def process_request(self,request,spider): # if re.findall(r'根据需求的url过滤,简单的页面', request.url): print('正在使用ip') if self.ip_num ==0 or self.ip_num >=10: res = json.loads(requests.get(url=self.url).content.decode()) if res: ip = res['data']['proxy'] print(ip,'-'*20) self.ip = ip print(self.ip) self.ip_num = 1 if self.ip: request.meta['proxy'] = 'http://' + self.ip self.ip_num += 1 print('ip地址>>>{} --- 使用次数{}'.format(self.ip, self.ip_num)) else: self.ip_num += 3 print('使用的是本机ip......') ''' 两个获取ip的设置,对ip池的访问返回是个问题, 如果加上一个判定什么网页使用selenium + 获取ip,什么网页使用正常的获取ip正常的访问 比如 if re.findall(r'根据需求的url过滤,必须使用selenium加载的js动态页面',request.url) ''' class YanzhenIp_selenium_DownloaderMiddleware(object): def __init__(self): self.chrome_options = Options() self.chrome_options.add_argument('--headless') self.chrome_options.add_argument('--disable-gpu') # self.driver = webdriver.Chrome(chrome_options=chrome_options) self.chrome_options.add_experimental_option('excludeSwitches', ['enable-automation']) self.ip = '' self.url = 'http://proxy.1again.cc:35050/api/v1/proxy/?type=2' self.ip_num = 0 def process_request(self, request, spider): # if re.findall(r'根据需求的url过滤,必须使用selenium加载的js动态页面', request.url): print('获取ip............') # 为selenium获取ip if self.ip_num == 0 or self.ip_num >= 3: res = json.loads(requests.get(url=self.url).content.decode()) if res: ip = res['data']['proxy'] self.ip = ip self.ip_num = 1 print('调用selenium中.............') self.chrome_options.add_argument("--proxy-server=http://{}".format(self.ip)) # 加载ip print('插入ip{},并使用{}'.format(self.ip,self.ip_num), '-' * 20) self.driver = webdriver.Chrome(chrome_options=self.chrome_options) self.driver.get(request.url) html = self.driver.page_source url = self.driver.current_url response = HtmlResponse(url=url,body=html,encoding='utf-8',request=request) return response def close_spider(self,spider): self.driver.close() print('关闭selenium')
ua也可以这样搞
随手一写,有待优化
ga改进版本,有待优化
class YanzhenIp_selenium_DownloaderMiddleware(object): def __init__(self): self.chrome_options = Options() self.chrome_options.add_argument('--headless') self.chrome_options.add_argument('--disable-gpu') # self.driver = webdriver.Chrome(chrome_options=chrome_options) self.chrome_options.add_experimental_option('excludeSwitches', ['enable-automation']) self.ip = '' self.url = 'http://proxy.1again.cc:35050/api/v1/proxy/?type=2' self.ip_num = 0 def process_request(self, request, spider): # if re.findall('js加载页面的url',request.url): if self.ip_num == 0 or self.ip_num >= 10: res = json.loads(requests.get(url=self.url).content.decode()) if res: ip = res['data']['proxy'] self.ip = ip self.ip_num = 1 if re.findall('js加载页面的url', request.url): # TODO if self.ip ?? 做个判断有咩有ip 没有的时候怎么办 print('调用selenium中.............') self.chrome_options.add_argument("--proxy-server=http://{}".format(self.ip)) print('插入ip{},并使用{}'.format(self.ip,self.ip_num), '-' * 20) self.driver = webdriver.Chrome(chrome_options=self.chrome_options) self.driver.get(request.url) html = self.driver.page_source url = self.driver.current_url response = HtmlResponse(url=url,body=html,encoding='utf-8',request=request) return response else: # 抓取简单的页面,scrapy可以胜任 if self.ip: request.meta['proxy'] = 'http://' + self.ip self.ip_num += 1 print('ip地址>>>{} --- 使用次数{}'.format(self.ip, self.ip_num)) else: self.ip_num += 3 print('使用的是本机ip......') def close_spider(self,spider): self.driver.close() print('关闭selenium')
