Scrapy实战篇（六）之Scrapy配合Selenium爬取京东信息（上）
在之前的一篇实战之中，我们已经爬取过京东商城的文胸数据，但是前面的那一篇其实是有一个缺陷的，不知道你看出来没有，下面就来详细的说明和解决这个缺陷。
我们在京东搜索页面输入关键字进行搜索的时候，页面的返回过程是这样的，它首先会直接返回一个静态的页面，页面的商品信息大致是30个，之所以说是大致，因为有几个可能是广告商品，之后，当我们鼠标下滑的使用，京东后台使用Ajax技术加载另外的30个商品数据，我们看上去是60个数据，其实这60个数据是分两次加载出来的，而且只是在你鼠标下滑到一定的位置才会加载那另外的30个数据。
当你点击页面最后的第二页的时候，仔细观察新的url你会发现它的页面显示是第三页。
下面是初始第一面和点击第二页之后的url
# 第一页的url
https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=1&s=1&click=0
# 点击第二页的url
https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=3&s=59&click=0
page参数一个是1，一个是3。
因此可以得知，京东的第二页的信息是使用Ajax加载出来的，而不是直接请求url的形式。如果我们想要拿到另外的30个信息，一方面是需要js渲染，另一方面是实现滚动条下拉，触发Ajax请求。
知道了过程，下面就是着手解决这个问题，由于Scrapy框架只能加载静态数据，因此我们需要另外的工具来配合Scrapy实现爬取页面的完整信息。
我们的技术路线是这样的，使用selenium加Firefox来实现目的。
实现的过程是这样的，将selenium作为scrapy的下载中间件，执行js脚本实现滚动条的下拉，并且实现js的渲染。
下面就来演示。
spider.py文件
from scrapy import Spider,Request
from selenium import webdriver
class JingdongSpider(Spider):
name = 'jingdong'
def __init__(self):
self.browser = webdriver.Firefox()
self.browser.set_page_load_timeout(30)
def closed(self,spider):
print("spider closed")
self.browser.close()
def start_requests(self):
start_urls = ['https://search.jd.com/Search?keyword=%E6%96%87%E8%83%B8&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.his.0.0&page={}&s=1&click=0'.format(str(i)) for i in range(1,2,2)]
for url in start_urls:
yield Request(url=url, callback=self.parse)
def parse(self, response):
selector = response.xpath('//ul[@class="gl-warp clearfix"]/li')
print(len(selector))
print('---------------------------------------------------')
这里将webdriver定义在spider文件的好处是，不需要每一次请求url都打开和关闭浏览器。
其中的closed()方法，是在爬虫程序结束之后，自动关闭浏览器。
由于这里是演示之用，我们就以一个页面来测试，看一下最后的结果是不是返回60条数据，如果是60条左右就证明我们的selenium起作用了，如果仅仅是30条左右的数据，就证明失败。
middlewares.py
下面的这个文件是主要逻辑实现
from scrapy.http import HtmlResponse
from selenium.common.exceptions import TimeoutException
import time
class SeleniumMiddleware(object):
def process_request(self, request, spider):
if spider.name == 'jingdong':
try:
spider.browser.get(request.url)
spider.browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
except TimeoutException as e:
print('超时')
spider.browser.execute_script('window.stop()')
time.sleep(2)
return HtmlResponse(url=spider.browser.current_url, body=spider.browser.page_source,
encoding="utf-8", request=request)
在程序中，我们执行了js脚本，来实现滚动条下拉，触发Ajax请求，之后我们简短的等待，来加载Ajax。 在scrapy官方文档中，对下载中间件有着比较详细的说明，当某个下载中间件返回的是response对象的时候，之后的下载中间件将不会被继续执行，而是直接返回response对象。
之后，我们只需要在设置中将当前的下载中间件添加到settings.py文件中，就可以实现了。
运行程序，会发现自动打开了Firefox浏览器，并且实现了滚动条的下拉，关闭浏览器。控制台打印信息如下。
不妨多试验几个页面，会发现效果也是一样的。
