爬取淘宝商品

爬取淘宝商品

一、项目需求

1. 淘宝的整个页面都是由Ajax获取的，而且还包含加密参数，所以这里要使用 Selenium 来模拟浏览器爬取淘宝商品信息。

2. 将淘宝上关于ipad关键字的搜索结果爬取下来，并使用 MongoDB 储存数据。

3. 爬取的数据要包含商品的图片，名称，价格，购买人数，店铺名称和店铺地址。

 

二、项目分析

 抓取入口是淘宝的搜索页面，URL：https://s.taobao.com/search?q=iPad，如下方截图：

　　可以发现，在页面下方有一个分页导航，其中既包括前5页的链接，也包括下一页的链接，同时还有一个输入任意页码跳转的链接，这里商品的搜索结果为100页，要获取每一页的内容，只需要将页码从1到100顺序遍历即可，页码数是确定的。所以，直接在页面跳转文本框中输入要跳转的页面，然后点击确定按钮即可跳转到页码对应的页面了。可能你会问为什么不直接点下一页，因为一旦爬取过程中出现异常退出，比如到50页退出了，此时点击下一页时，就无法快速切换到对应的后续页面了。此外，在爬取过程中，也需要记录当前的页码数，而且一旦点击下一页之后页面加载失败，还需要做异常检测，检测当前页面是加载到第几页，整个流程相对复杂，所以这里使用简单粗暴的方法，直接获取输入框然后在里面输入页码，最后通过点击按钮实现跳转。接下来就可以使用 Selenium 抓取了：

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from urllib.parse import quote


browser = webdriver.Chrome()
wait = WebDriverWait(browser,10)
KEYWORD = 'iPad'


def index_page(page):
    """抓取索引页"""
    print('正在抓取第' + page + '页')
    try:
        url = 'https://s.taobao.com/search?q=' + quote(KEYWORD)
        browser.get(url)
        if page > 1:
            input = wait.until(
                EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager div.form > input')))
            submit = wait.until(
                EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager div.form > span.btn.J_Submit')))
            input.clear()
            submit.click()
        wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,'#mainsrp-pager li.item.active > span'),str(page)))
        wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'.m-itemlist .items .item')))
        get_products()
    except TimeoutException:
        index_page(page)

　　这里先构造了一个WebDriver对象，指定关键字‘iPad’，接着定义了index_page()方法用于抓取商品页面。在该方法里，首先访问了搜索商品的链接，然后判断了当前的页码，如果大于1，就进行跳转页面操作，否则等待页面加载完成。等待加载时，使用了WebDriverWait对象，它可以指定等待条件，同时指定一个最长等待时间，这里指定为10秒。如果在这个时间内成功匹配了等待条件，也就是说页面元素成功加载出来了，就立即返回相应结果并继续向下执行，否则到了最大等待时间还没有加载出来时，就直接抛出超时异常。关于翻页的操作，这里首先获取页码输入框，赋值为input，然后获取确定按钮，赋值为submit。然后清空了输入框的内容，再调用send_keys()方法将页码填充到输入框中，然后点击确定按钮。然而这里有一个问题就是，我们怎么知道有没有跳转到对应的页码呢？可以注意到，如果我们在某一页，当前的页码是会高亮显示的，所以只需要判断当前高亮的页码数是当前的页码数即可，然而这里使用了另外一个等待条件text_to_be_present_in_element，它会等待指定的文本出现在某一个节点里面时即返回成功。这里我们将高亮的页码节点对应的CSS选择器和当前要跳转的页码通过参数传递给这个等待条件，这样就会检测当前高亮的页码节点是不是我们传过来的页码数，如果是，就证明页面跳转成功了。接下来就可以实现get_products()方法来解析商品了：

def get_products():
    html = browser.page_source
    document = pq(html)
    items = document('#mainsrp-itemlist .items .item').items()
    for item in items:
        product = {
            'image':item.find('.pic .img').attr('data-src'),
            'price':item.find('.price').text(),
            'deal':item.find('.deal-cnt').text(),
            'shop':item.find('.shop').text(),
            'location':item.find('.location').text(),
        }
        print(product)
        save_to_mongo(product)

首先，调用page_source属性获取页面源码，然后构造了PyQuery解析对象，接着提取了商品列表，此时使用的CSS选择器是#mainsrp-itemlist .items .item，它会匹配整个页面的每个商品。它的匹配结果是多个，所以这里我们又对它进行一次遍历，用for循环将每个结果分别进行解析，每次循环把它赋值为item变量，每个item变量都是一个PyQuery对象，然后再调用它的find()方法，传入CSS选择器，就可以获取单个商品的特定内容了。最后的工作就是讲我们需要的数据保存到 MongoDB 中了。

 

三、项目源码

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from urllib.parse import quote
from pyquery import PyQuery as pq
import pymongo


browser = webdriver.Chrome()
wait = WebDriverWait(browser,10)
KEYWORD = 'iPad'
MAX_PAGE = 100

MONGO_URL = 'localhost'
MONGO_DB = 'taobao'
MONGO_COLLECTION = 'products'
client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]


def index_page(page):
    print('now is ',page)
    try:
        url = 'https://s.taobao.com/search?q=' + quote(KEYWORD)
        browser.get(url)
        if page > 1:
            input = wait.until(
                EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager div.form > input')))
            submit = wait.until(
                EC.element_to_be_clickable((By.CSS_SELECTOR,'#mainsrp-pager div.form > span.btn.J_Submit')))
            input.clear()
            input.send_keys(page)
            submit.click()
        wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,'#mainsrp-pager li.item.active > span'),str(page)))
        wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'.m-itemlist .items .item')))
        get_products()
    except TimeoutException:
        index_page(page)


def get_products():
    html = browser.page_source
    document = pq(html)
    items = document('#mainsrp-itemlist .items .item').items()
    for item in items:
        product = {
            'image':item.find('.pic .img').attr('data-src'),
            'price':item.find('.price').text(),
            'deal':item.find('.deal-cnt').text(),
            'shop':item.find('.shop').text(),
            'location':item.find('.location').text(),
        }
        print(product)
        save_to_mongo(product)


def save_to_mongo(result):
    try:
        if db[MONGO_COLLECTION].insert(result):
            print('success')
    except Exception:
        print('fail')


def main():
    for i in range(1,MAX_PAGE+1):
        index_page(i)


if __name__ == '__main__':
    main()