哆啦A梦 50周年应援

ajax的get方法获取豆瓣电影前10页的数据

# _*_ coding : utf-8 _*_
# @Time : 2021/11/2 11:45
# @Author : 秋泊酱

# 1页数据 电影条数20
# https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&
# start=0&limit=20

# 2页数据
# https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&
# start=20&limit=20

# 3页数据
# https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&
# start=40&limit=20

# 4页数据
# https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&
# start=60&limit=20

# page页      1  2   3   4
# start开始   0  20  40  60

# 算法
# start (page - 1)*20


# 下载豆瓣电影前10页的数据
# (1) 请求对象的定制
# (2) 获取响应的数据
# (3) 下载数据

import urllib.parse
import urllib.request

# 1) 请求对象的定制
def create_request(page):
  # 请求路径 base_url
= 'https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&'   # 请求参数 data = { 'start': (page - 1) * 20, 'limit': 20 } # 常用 urllib.parse.urlencode(data) 解析data字典中的参数进行url拼接 data = urllib.parse.urlencode(data)    # 请求资源链接的拼接 url = base_url + data   # 请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36' } # 请求对象的定制(url参数传递,headers参数传递) request = urllib.request.Request(url=url, headers=headers) # 函数返回 return request # 2) 获取响应的数据 def get_content(request): # 模拟浏览器B,向服务器S,发送请求 response = urllib.request.urlopen(request) # 获取响应数据(read读方法返回字节形式二进制数据.decode解密) content = response.read().decode('utf-8') # 函数返回 return content # 3) 下载数据 def down_load(page,content): # python的字符串拼接,两边都要是str字符串类型 with open('douban_' + str(page) + '.json', 'w', encoding='utf-8')as fp:
     # 向文件中写入 fp.write(content)
# 程序的入口 if __name__ == '__main__': start_page = int(input('请输入起始的页码')) end_page = int(input('请输入结束的页面')) for page in range(start_page,end_page+1): #每一页都有自己的请求对象的定制 request = create_request(page) #获取响应的数据 content = get_content(request)
#下载 down_load(page,content)

posted @ 2021-11-02 12:11  秋泊ソース  阅读(53)  评论(0编辑  收藏  举报