Ajax数据爬取

参考：https://germey.gitbooks.io/python3webspider/content/6-Ajax%E6%95%B0%E6%8D%AE%E7%88%AC%E5%8F%96.html

Ajax数据爬取的原因

有时候我们在用 Requests 抓取页面的时候，得到的结果可能和在浏览器中看到的是不一样的，在浏览器中可以看到正常显示的页面数据，但是使用 Requests 得到的结果并没有，这其中的原因是 Requests 获取的都是原始的 HTML 文档，而浏览器中的页面则是页面又经过 JavaScript 处理数据后生成的结果，这些数据的来源有多种，可能是通过 Ajax 加载的，可能是包含在了 HTML 文档中的，也可能是经过 JavaScript 经过特定算法计算后生成的。

对于第一种情况，数据的加载是一种异步加载方式，原始的页面最初不会包含某些数据，原始页面加载完后会会再向服务器请求某个接口获取数据，然后数据再被处理才呈现到网页上，这其实就是发送了一个 Ajax 请求。

照 Web 发展的趋势来看，这种形式的页面越来越多，网页原始 HTML 文档不会包含任何数据，数据都是通过 Ajax 来统一加载然后再呈现出来，这样在 Web 开发上可以做到前后端分离，而且降低服务器直接渲染页面带来的压力。

所以如果我们遇到这样的页面，如果我们再利用 Requests 等库来抓取原始页面是无法获取到有效数据的，这时我们需要做的就是分析网页的后台向接口发送的 Ajax 请求，如果我们可以用 Requests 来模拟 Ajax 请求，那就可以成功抓取了。

所以本章我们的主要目的是了解什么是 Ajax 以及如何去分析和抓取 Ajax 请求。

什么是Ajax 

Ajax，全称为 Asynchronous JavaScript and XML，即异步的 JavaScript 和 XML。

Ajax 不是一门编程语言，而是利用 JavaScript 在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。

对于传统的网页，如果想更新其内容，那么必须要刷新整个页面，但有了 Ajax，我们便可以实现在页面不被全部刷新的情况下更新其内容。在这个过程中，页面实际是在后台与服务器进行了数据交互，获取到数据之后，再利用 JavaScript 改变网页，这样网页内容就会更新了。

实例

以马云的微博为例：https://m.weibo.cn/u/2145291155?display=0&retcode=6102

基本原理

初步了解了 Ajax 之后我们再来详细了解一下它的基本原理，发送 Ajax 请求到网页更新的这个过程可以简单分为三步：

• 发送请求
• 解析内容
• 渲染网页

下面我们分别来详细介绍一下这几个过程。

发送请求

我们知道 JavaScript 可以实现页面的各种交互功能，那么 Ajax 也不例外，它也是由 JavaScript 来实现的，实际它就是执行了类似如下的代码：

var xmlhttp;
if (window.XMLHttpRequest) {
    // code for IE7+, Firefox, Chrome, Opera, Safari
    xmlhttp=new XMLHttpRequest();
} else {// code for IE6, IE5
    xmlhttp=new ActiveXObject("Microsoft.XMLHTTP");
}
xmlhttp.onreadystatechange=function() {
    if (xmlhttp.readyState==4 && xmlhttp.status==200) {
        document.getElementById("myDiv").innerHTML=xmlhttp.responseText;
    }
}
xmlhttp.open("POST","/ajax/",true);
xmlhttp.send();

这是 JavaScript 对 Ajax 最底层的实现，实际上就是新建了 XMLHttpRequest 对象，然后调用了onreadystatechange 属性设置了监听，然后调用 open() 和 send() 方法向某个链接也就是服务器发送了一个请求，我们在前面用 Python 实现请求发送之后是可以得到响应结果的，只不过在这里请求的发送变成了 JavaScript 来完成，由于设置了监听，所以当服务器返回响应时，onreadystatechange 对应的方法便会被触发，然后在这个方法里面解析响应内容即可。

解析内容

得到响应之后，onreadystatechange 属性对应的方法便会被触发，此时利用 xmlhttp 的 responseText 属性便可以取到响应的内容。这也就是类似于 Python 中利用 Requests 向服务器发起了一个请求，然后得到响应的过程。那么返回内容可能是 HTML，可能是 Json，接下来只需要在方法中用 JavaScript 进一步处理即可。比如如果是 Json 的话，可以进行解析和转化。

渲染网页

JavaScript 有改变网页内容的能力，解析完响应内容之后，就可以调用 JavaScript 来针对解析完的内容对网页进行下一步的处理了。比如通过document.getElementById().innerHTML 这样的操作便可以对某个元素内的源代码进行更改，这样网页显示的内容就改变了，这样的操作也被称作 DOM 操作，即对 Document网页文档进行操作，如更改、删除等。

如上例中，document.getElementById("myDiv").innerHTML=xmlhttp.responseText 便将 ID 为 myDiv 的节点内部的 HTML 代码更改为服务器返回的内容，这样 myDiv 元素内部便会呈现出服务器返回的新数据，网页的部分内容看上去就更新了。

以上就是Ajax的三个步骤。

我们观察到，以上的步骤其实都是由 JavaScript 来完成的，它完成了整个请求、解析、渲染的过程。

所以再回想微博的下拉刷新，这其实就是 JavaScript 向服务器发送了一个 Ajax 请求，然后获取新的微博数据，将其解析，并将其渲染在网页中。

Ajax分析方法

具体的分析方法：参考老师的文章

Ajax的python实战

第一步：利用python模拟ajax请求，来获取每次请求的结果

from urllib.parse import urlencode
import requests
base_url='https://m.weibo.cn/api/container/getIndex?'

headers={
    'Accept': 'application/json, text/plain, */*',
    'MWeibo-Pwa': '1',
    'Referer': 'https://m.weibo.cn/u/2145291155?display=0&retcode=6102',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
}

def get_page(page):
    params={
     'display':' 0',
     'retcode':' 6102',
     'type':' uid',
     'value':' 2145291155',
     'containerid':' 1076032145291155',
    }
#注意后面的大段代码要包含在函数里面
    url=base_url+urlencode(params)
    try:
        response=requests.get(url,headers=headers)
        if response.status_code==200:
            return
            return response.json()
    except requests.ConnectionError as e:
        print('error',e.args)

第二部：定义一个解析的函数，对获取的网页代码进行解析，提取我们希望得到的结果

from pyquery import PyQuery as pq
def parse_page(json):
    if json:
        items=json.get('cards')
        for item in items:
            item=item.get('mblog')
            weibo={}
            weibo['id']=item.get('id')
            weibo['text']=pq(item.get('text')).text()
            weibo['attitudes']=item.get('attitudes_count')
            weibo['comments']=item.get('comments_count')
            weibo['created']=item.get('created_at')
            yield weibo

第三步：

在这里我们借助于 PyQuery 将正文中的 HTML 标签去除掉。

最后我们遍历一下 page，一共 17 页，将提取到的结果打印输出即可。

if '__name__'=='_main__':
    for page in range(1,18):
        json=get_page(page)
        results=parse_page(json)
        for result in results:
            print(result)

另外我们还可以加一个方法将结果保存到 MongoDB 数据库。

from pymongo import MongoClient
client=MongoClient()
db=client['weibo']
collection=db['weibo']

def save_to_mongo(result):
    if collection.insert(result):
        print('save to mongo')

将所有的程序汇总起来，结果为：

from urllib.parse import urlencode
import requests
from pyquery import PyQuery as pq
from pymongo import MongoClient
import json

base_url='https://m.weibo.cn/api/container/getIndex?'

headers={
    'Accept': 'application/json, text/plain, */*',
    'MWeibo-Pwa': '1',
    'Referer': 'https://m.weibo.cn/u/2145291155?display=0&retcode=6102',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
}

#创建数据库对象
client=MongoClient()
db=client['weibo']
collection=db['weibo']
max_page = 22

#够建网页
def get_page(page):
    params={
     'display':'0',
     'retcode':'6102',
     'type':'uid',
     'value':'2145291155',
     'containerid':'1076032145291155',
     'page': page
    }
#注意后面的大段代码要包含在函数里面
    url=base_url+urlencode(params)
    try:
        response=requests.get(url,headers=headers)
        if response.status_code==200:
            return response.json()
    except requests.ConnectionError as e:
        print('error',e.args)

#解析数据
def parse_page(json):
    if json:
        items = json.get('data').get('cards')
        for index, item in enumerate(items):
            if page == 1 and index == 1:
                continue
            else:
                item = item.get('mblog', {})
                weibo = {}
                weibo['id'] = item.get('id')
                weibo['text'] = pq(item.get('text')).text()
                weibo['attitudes'] = item.get('attitudes_count')
                weibo['comments'] = item.get('comments_count')
                weibo['reposts'] = item.get('reposts_count')
                yield weibo

#保存到MogoDB
def save_to_mongo(result):
    if collection.insert(result):
        print('save to mongo')


#遍历所有的网页
if __name__ == '__main__':
    for page in range(1,max_page+1):
        json=get_page(page)
        results=parse_page(json)
        for result in results:
            print(result)
            save_to_mongo(result)

https://github.com/Python3WebSpider/WeiboList/issues/1