ajax的post请求获取kfc官网数据

# _*_ coding : utf-8 _*_
# @Time : 2021/11/2 13:45
# @Author : 秋泊酱

# 1页
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# post
# cname: 北京
# pid:
# pageIndex: 1
# pageSize: 10

# 2页
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# post
# cname: 北京
# pid:
# pageIndex: 2
# pageSize: 10

import urllib.request
import urllib.parse

# 1） 请求对象的定制
def create_request(page):
    # 请求路径
    base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'

    # 请求参数
    data = {
        'cname': '北京',
        'pid':'',
        'pageIndex': page,
        'pageSize': '10'
    }
　　
　　 # 请求参数编码
    # 注意：post请求data字典中的参数进行url拼接，还需要调用encode('utf-8')进行编码
    data = urllib.parse.urlencode(data).encode('utf-8')

    # 请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
    }
    # 请求对象的定制（url参数传递，headers参数传递，data数据传递）
    # post的请求的参数是不会拼接在url的后面的，而是需要放在请求对象定制的data参数中
    request = urllib.request.Request(url=base_url, headers=headers, data=data)
    # 函数返回
    return request

# 2） 获取响应的数据
def get_content(request):
    # 模拟浏览器B，向服务器S,发送请求
    response = urllib.request.urlopen(request)
    # 获取响应数据（read读方法返回字节形式二进制数据.decode解密）
    content = response.read().decode('utf-8')
    # 函数返回
    return content

# 3） 下载数据
def down_load(page,content):
    # python的字符串拼接，两边都要是str字符串类型
    with open('kfc_' + str(page) + '.json', 'w', encoding='utf-8')as fp:
        # 向文件中写入
        fp.write(content)

if __name__ == '__main__':
    start_page = int(input('请输入起始页码'))
    end_page = int(input('请输入结束页码'))

    for page in range(start_page, end_page+1):
        # 请求对象的定制
        request = create_request(page)
        # 获取网页源码
        content = get_content(request)
        # 下载
        down_load(page, content)

X-Requested-With用来判断客户端的请求是Ajax请求还是其它请求

if (request.getHeader("x-requested-with") != null 
&& request.getHeader("x-requested-with").equalsIgnoreCase("XMLHttpRequest")) { 
out.print("该请求是 AJAX 异步HTTP请求。"); 
}else{ 
out.print("该请求是传统的 同步HTTP请求。"); 
} 

如果 requestedWith 为 null，则为同步请求。

如果 requestedWith 为 XMLHttpRequest 则为 Ajax 请求。