分析ajax爬取今日头条街拍美图

一、什么是ajax

AJAX 指异步 JavaScript 及 XML（Asynchronous JavaScript And XML）

ajax不是一门编程语言，而是利用Javascript在保证页面不被刷新，页面链接不改变的情况下与服务器交换数据并更新部分网页的技术

二、抓取分析

打开今日头条，并搜索街拍

网址：https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D

切换到 network-->XHR 可以看到红笔圈出的：x-requested-with:XMLHttpRequest

可判断为ajax请求

 

 

 

切换到preview从data中获得图片地址等信息，每条都是一一对应的 

 

 

 

 

 

再切换到headers，可以看到请求地址的各个参数

 

 

不断往下拉，发现变化的参数只有offset，每次加载一次加十

 

三、开始爬取

1、get_page(offset)请求页面函数：发送请求，将获得response利用json()方法转化为JSON格式，然后返回

2、get_image(json)解析函数：提取每一张图片链接，将图片链接和图片所属的标题一起返回，此时可以构造一个生成器

3、save_image(item)保存文件函数：根据item的title创建文件夹，将获得的图片以二进制的形式写入文件，图片文件名用MD5值，可以去重

4、主函数：构造一个offset数组，遍历offset，提取图片链接，并将其下载即可

import requestsget
from urllib.parse import urlencode

def get_page(offset):
    headers = {
        'x-requested-with': 'XMLHttpRequest',
        'user - agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
        'referer':'https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D',
        'cookie':'__tasessionId=ma7hh1k0i1564919983167; csrftoken=a2318e2879cb7daac5e3169ac6731316; tt_webid=6721280117165032963; UM_distinctid=16c5c7fee055e9-09bb3e770de9ee-7a1437-144000-16c5c7fee0685f; CNZZDATA1259612802=745403741-1564916538-%7C1564916538; s_v_web_id=7a3ff2239d94842e143caf217478bc62'
    }
    params = {
        'aid': '24',
        'app_name': 'web_search',
        'offset': offset,
        'format': 'json',
        'keyword': '街拍',
        'autoload': 'true',
        'count': '20',
        'en_qc': '1',
        'cur_tab': '1',
        'from': 'search_tab',
        'pd': 'synthesis',
    }
    base_url = 'https://www.toutiao.com/api/search/content/?'
    url = base_url + urlencode(params)
    try:
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            return response.json()
    except requests.ConnectionError as e:
        return None

def get_image(json):
    if json.get('data'):
        for item in json.get('data'):
            title = item.get('title')
            images = item.get('image_list')
            for image in images:
                yield {
                    'image':image.get('url'),
                    'title':title
                }

import os
from hashlib import md5

def save_image(item):
    if not os.path.exists(item.get('title')):
        os.mkdir(item.get('title'))
    try:
        response = requests.get(item.get('image'))
        if response.status_code == 200:
            file_path = '{0}/{1}.{2}'.format(item.get('title'),md5(response.content).hexdgest(),'jpg')
            if not os.path.exists(file_path):
                with open(file_path,'wb') as f:
                    f.write(response.content)
            else:
                print('Already Downloaded',file_path)
    except Exception as e:
        print('Failed to Save Image')

from multiprocessing.pool import Pool

def main(offset):
    json = get_page(offset)
    for item in get_image(json):
        print(item)
        save_image(item)

GROUP_START = 1
GROUP_END = 20

if __name__ == '__main__':
    pool = Pool()
    groups = ([x * 20 for x in range(GROUP_START,GROUP_END + 1)])
    pool.map(main,groups)
    pool.close()
    pool.join()