4、爬虫-数据获取之双R（CS/BS）与chrom检查工具使用-requests请求

模拟客户端请求服务端：

  ·模拟请求行和请求头、请求体

 

"""
模拟客户端请求
获取静态数据和动态数据
使用python自己去构造请求
使用request
"""
"""
请求的构成：
请求行、请求头、请求体
"""
 
###########################静态页面加载请求的###############################
import requests
import json
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
 
}
url = "https://www.xinpianchang.com/discover/article-49-0?utm_source=xpcWeb&utm_medium=navigatorCate&index=11"
 
#用于发送 HTTP 请求、向url发送请求、将返回结构存在response中
response = requests.request("GET",url,headers=headers)
 
#以text格式输出请求到的内容
print(f"{response.text}")
 
#requests.get用于 发送特定的请求（如.get、.post、.put）
#requests.get(url,headers=headers)
 
 
 
####################动态网页的请求、如获取评论区的内容#############################
#先获取评论区的url
comment_url = "https://www.xinpianchang.com/api/xpc/comments/article/v2?article_id=12850027"
 
#使用get请求
response_comment = requests.get(comment_url,headers=headers)
#将请求到的内容输出text格式或json格式
#print(f"{response_comment.text}")
print(f"{response_comment.json()}") #注意只有内容的格式是字典的才能以json格式输出