requests模块高级
cookie
- cookie:
基于用户的用户数据 -需求:爬取用户的豆瓣网的个人页面数据
- cookie作用:服务器端使用cookie来记录客户端的状态信息 实现流程:
1.执行登录操作(获取cookie) 2.再发起个人主页请求时,需要将cookie携带到该请求中 注意:session对象:发送请求(会将cookie对象进行自动存储)
import requests #生成一个session对象 session = requests.session() #1 发起登录请求:将cookie获取,且存储到session对象中 login_url='https://accounts.douban.com/login' data={ 'source':'movie', 'redir':'https://movie.douban.com/', 'form_email':'15027900535', 'form_password':'bobo@15027900535', 'login':'登录' } # 自定义请求头信息 headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' } # 使用session发起post请求 login_response = session.post(url=login_url,data=data,headers=headers) #2 对个人主页发起请求(session(cookie)),获取响应页面数据 url = 'https://www.douban.com/people/185687620/' response = session.get(url=url,headers=headers) page_text = response.text with open('./douban110.html','w',encoding='utf-8')as fp: fp.write(page_text)
代理操作
- 1代理:第三方代替本体执行相关事物。
- 2为什么使用代理:
-反爬 -反反爬
- 3分类:
-正向代理:代理客户端获取数据 -反向代理:代理服务器获取数据
- 4免费代理ip的网站提供商:
-www.goubanjia.com(推荐) -快代理 -西祠代理
import requests url = 'http://www.baidu.com/s?wd=ip&ie=utf-8' #协议要和代理IP统一 # 将代理IP封装到字典 proxies={ 'http':'59.44.43.198:80' } # 更换IP response = requests.get(url=url,proxies=proxies) with open('./daili.html','w',encoding='utf-8')as fp: fp.write(response.text) print('ok')