Python爬取猪肉价格网并获取Json数据

场景

猪肉价格网站：

http://zhujia.zhuwang.cc/

 

 

注：

博客：
https://blog.csdn.net/badao_liumang_qizhi
关注公众号
霸道的程序猿
获取编程相关电子书、教程推送与免费下载。

实现

使用谷歌浏览器打开F12，刷新下当前网页，找到Network下的XHR下的Headers，将此信息复制出来。

刷新后会在左边显示请求Json数据的接口

 

 

点击左边的接口，右边查看RequestURL,并在新窗口中打开

 

 

 

 

就可以看到关于猪肉价格的Json数据了

 

 

怎样在代码中获取这些Json数据以方便后续的数据分析等那？

新建pig.py

import requests
import json

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'}


def get_json(url):
    try:
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            json_text=response.json()
            return json_text
    except Exception:
        print('获取json接口有问题！')
        return None


json_data = get_json('http://zhujia.zhuwang.cc/index/api/chartData?areaId=370000&aa=1573300145544')


# 将dict格式数据转换成json格式字符串
dump_data = json.dumps(json_data)

# 将json格式字符串转换成对应的python值
load_data = json.loads(dump_data)

 


# 打印转换结果
print(type(json_data))
print(type(dump_data))
print(type(load_data),load_data)

 

其中headers就是上面在浏览器中复制出来的headers。

运行结果