爬虫之requests模块基础
一、request模块介绍
1. 什么是request模块
- python中原生的基于网络请求的模块，模拟浏览器发起请求。2. 为什么使用request模块
- urllib需要手动处理url编码，quote()。
- urllib需要手动处理post请求参数。
- cookie的代理操作比较繁琐
1. cookie
- 创建一个cookiejar对象
- 创建一个handler对象
- 创建一个openner
2. 代理
- 创建handler对象，代理ip和端口分装到该对象
- 创建openner对象3. request如何被使用
- 安装：pip install requests
- 使用流程：
1. 指定URL
2. 使用request模块发起请求
3. 获取响应数据
4. 进行持久化储存3.通过5个基于request模块的爬虫项目对该模块进行系统学习和巩固
- get请求
- post请求
- 基于ajax的get请求
- 基于ajax的post请求
- 综合项目二、项目实战
3. 基于request模块发起一个get请求
需求：爬取搜狗首页的页面数据
import requests # 指定url url = 'https://www.sogou.com/' # 发起get请求：get方法会返回请求成功的响应对象 response = requests.get(url=url) # 获取响应中的数据值：text可以获取响应对象中字符串形式的页面数据 page_data = response.text # 持久化操作 with open('./sougou.html','w',encoding='utf-8') as fp: fp.write(page_data)
response对象中其他重要的属性
import requests # 指定url url = 'https://www.sogou.com/' # 发起get请求：get方法会返回请求成功的响应对象 response = requests.get(url=url) # content获取的是response对象中二进制（byte）类型的页面数据 # print(response.content) # 返回一个响应状态码 # print(response.status_code) # 响应头信息 # print(response.headers) # 获取请求的url # print(response.url)
4. 携带参数的get请求方式1
import requests url = 'https://www.sogou.com/web?query=周杰伦&ie=utf-8' response = requests.get(url=url) page_text = response.text with open('./zhou.html','w',encoding='utf-8') as fp: fp.write(page_text)
5. 携带参数的get请求方式2
import requests url = 'https://www.sogou.com/web' # 将参数封装到字典中 params = { 'query':'周杰伦', 'ie':'utf-8', } requests.get(url=url,params=params) print(response.text)
6. 自定义请求头信息
import requests url = 'https://www.sogou.com/web' # 将参数封装到字典中 params = { 'query':'周杰伦', 'ie':'utf-8', } # 自定义请求头信息 headers = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36' } response = requests.get(url=url,params=params,headers=headers) print(response.status_code)
7. 基于requests模块发起的post请求
需求：登陆豆瓣网，获取登陆成功后的页面数据
import requests # 1. 指定post请求的url url = 'https://accounts.douban.com/login' # 封装post请求的参数 data = { 'source':'movie', 'redir':'https://movie.douban.com/', 'form_email':'account', 'form_password':'password', 'login':'登陆', } # 自定义请求头信息 headers = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36' } # 2. 发起post请求 response = requests.post(url=url,data=data,headers=headers) # 3. 获取响应对象中的页面数据 page_text = response.text # 4. 持久化操作 with open('./douban.html','w',encoding='utf-8') as fp: fp.write(page_text)
8. 基于Ajax的get请求
需求：抓取豆瓣电影上电影详情的数据
import requests url = 'https://movie.douban.com/j/chart/top_list?' # 封装ajax的get请求中携带的参数(系统自带的抓包工具下面的Query String) params = { 'type': '13', 'interval_id': '100:90', 'action':'', 'start': '100', 'limit': '20', } # 自定义请求头信息 headers = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36' } response = requests.get(url=url,params=params,headers=headers) print(response.text)
9. 基于Ajax的post请求
需求：爬取肯德基城市餐厅位置数据
import requests # 1. 指定url post_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword' # 处理post请求 data = { 'cname': '', 'pid': '', 'keyword': '北京', 'pageIndex': '1', 'pageSize': '10', } # 自定义请求头信息 headers = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36' } # 2. 发起基于ajax的post请求 response = requests.post(url=post_url,headers=headers,data=data) print(response.text)
总结：普通的get和post的请求一般从地址栏获取url。ajax是一个局部刷新的异步请求，我们不能从地址栏获取ajax的url，要借助抓包工具获取地址。
10. 综合项目实战
需求：爬取搜狗知乎某一个词条对应一定范围页码表示的页面
import requests import os # 创建一个文件夹 if not os.path.exists('./pages'): os.mkdir('./pages') word = input('enter a word:') # 动态指定页码的范围 start_page_number = int(input('enter a start page number')) end_page_number = int(input('enter a end page nunber')) # 自定义请求头信息 headers = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36' } # 1. 指定url：设计成一个具有通用的url url = 'https://zhihu.sogou.com/zhihu' for page in range(start_page_number,end_page_number + 1): params = { 'query':word, 'page':page, 'ie':'utf-8', } response = requests.get(url=url,params=params,headers=headers) # 获取响应中的页面数据（指定页码(page)） page_text = response.text # 持久化存储 file_name = word + str(page) + '.html' file_path = 'pages/' + file_name with open(file_path,'w',encoding='utf-8') as fp: fp.write(page_text) print(f'第{page}页数据写入成功')
