06 python网络爬虫之request模板2
一、基于request模块的代理操作
- 什么是代理
-
代理就是第三方代替本体处理相关事务。例如:生活中的代理:代购,中介,微商......
-
-
爬虫中为什么需要使用代理
-
一些网站会有相应的反爬虫措施,例如很多网站会检测某一段时间某个IP的访问次数,如果访问频率太快以至于看起来不像正常访客,它可能就会会禁止这个IP的访问。所以我们需要设置一些代理IP,每隔一段时间换一个代理IP,就算IP被禁止,依然可以换个IP继续爬取。
-
-
代理的分类:
-
正向代理:代理客户端获取数据。正向代理是为了保护客户端防止被追究责任。
-
反向代理:代理服务器提供数据。反向代理是为了保护服务器或负责负载均衡。
-
-
免费代理ip提供网站
-
http://www.goubanjia.com/ (最好用,最常使用)
-
西祠代理
-
快代理
-
-
代码
proxies = {"协议头" : "ip地址和端口"}
proxies={"https":"202.117.121.253:8080"}
示例: 通过代理ip爬取百度的首页 https://www.baidu.com/
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
二、基于request模块的cookie操作
引入request模块的cookie操作:
有些时候,我们在使用爬虫程序去爬取一些用户相关信息的数据(爬取张三“人人网”个人主页数据)时,如果使用之前requests模块常规操作时,往往达不到我们想要的目的,例如:
import requests if __name__ == "__main__": #张三人人网个人信息页面的url url = 'http://www.renren.com/289676607/profile' #伪装UA headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } #发送请求,获取响应对象 response = requests.get(url=url,headers=headers) #将响应内容写入文件 with open('./renren.html','w',encoding='utf-8') as fp: fp.write(response.text)
- 结果发现,写入到文件中的数据,不是张三个人页面的数据,而是人人网登陆的首页面,why?首先我们来回顾下cookie的相关概念及作用:
- cookie概念:当用户通过浏览器首次访问一个域名时,访问的web服务器会给客户端发送数据,以保持web服务器与客户端之间的状态保持,这些数据就是cookie。
- cookie作用:我们在浏览器中,经常涉及到数据的交换,比如你登录邮箱,登录一个页面。我们经常会在此时设置30天内记住我,或者自动登录选项。那么它们是怎么记录信息的呢,答案就是今天的主角cookie了,Cookie是由HTTP服务器设置的,保存在浏览器中,但HTTP协议是一种无状态协议,在数据交换完毕后,服务器端和客户端的链接就会关闭,每次交换数据都需要建立新的链接。就像我们去超市买东西,没有积分卡的情况下,我们买完东西之后,超市没有我们的任何消费信息,但我们办了积分卡之后,超市就有了我们的消费信息。cookie就像是积分卡,可以保存积分,商品就是我们的信息,超市的系统就像服务器后台,http协议就是交易的过程。
- 经过cookie的相关介绍,其实你已经知道了为什么上述案例中爬取到的不是张三个人信息页,而是登录页面。那应该如何抓取到张三的个人信息页呢?
思路:
1.我们需要使用爬虫程序对人人网的登录时的请求进行一次抓取,获取请求中的cookie数据
2.在使用个人信息页的url进行请求时,该请求需要携带 1 中的cookie,只有携带了cookie后,服务器才可识别这次请求的用户信息,方可响应回指定的用户信息页数据
在保存通过requests保存cookie的同时,我们引入了更加方便储存方式,session
session对象和requests作用几乎一样,都可以进行请求的发送,并且请求发送的方式也是一致的,
session进行请求的发送,如果会产生cookie的话,则cookie会自动被存储到session对象中
通过requests获取一个session对象
session = requests.Session()
示例:获取人人网登陆后,用户的页面数据 http://www.renren.com
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
1 import requests 2 from lxml import etree 3 from urllib import request 4 5 # 获取一个session对象 6 session = requests.session() 7 #session对象和requests作用几乎一样,都可以进行请求的发送,并且请求发送的方式也是一致的, 8 #session进行请求的发送,如果会产生cookie的话,则cookie会自动被存储到session对象中 9 10 11 # 1. 获取人人网验证码图片: 12 headers = { 13 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' 14 } 15 url ='http://www.renren.com/' 16 page_text = requests.get(url=url,headers=headers).text 17 18 #将验证码图片解析出来且进行持久化存储 19 tree = etree.HTML(page_text) 20 # 拿到当前人人网验证码图片的路径 21 code_img_src = tree.xpath('//*[@id="verifyPic_login"]/@src')[0] 22 # 将图片储存到当前文件下 23 request.urlretrieve(url=code_img_src,filename="./code.jpg") 24 25 code = get_code_text(2004,'./code.jpg') 26 # print(code) 27 28 # 模拟登陆 29 #拿到登陆所对应的url 30 login_url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2019031446506 ' 31 data = { 32 "email":"1696755793@qq.com", 33 "icod":code, 34 "origURL":"http://www.renren.com/home", 35 "domain":"renren.com", 36 "key_id":"1", 37 "captcha_type":"web_login", 38 "password":"4f1d552d7dc5ba646e93e653da9b06e5a24dceda905323a830e19f6352ae8bc0", 39 "rkey":"9e75e8dc3457b14c55a74627fa64fb43", 40 "f":"" 41 } 42 43 #进行登录,当登录成功之后,可以获取cookie 44 #cookie就会被存储到session中 45 response = session.post(url=login_url,headers=headers,data=data) 46 47 48 #对登录成功后对应的当前用户的个人详情页进行请求发送 49 detail_url = 'http://www.renren.com/969393866/profile' 50 #该次get请求使用的是session对象,该请求已经携带了cookie 51 page_text = session.get(url=detail_url,headers=headers).text 52 with open("./renren.html","w",encoding="utf-8") as fp: 53 fp.write(page_text) 54 print("下载完毕")
这里只是实现功能的部分代码,实现的全部代码,请看下一章有实现的全部代码
三、基于multiprocessing.dummy 线程池的数据爬取
需求:爬取梨视频的视频信息,在上一节中,使用了requests方法进行了爬取
基于线程池的爬取
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
1 import requests 2 from lxml import etree 3 import re 4 import random 5 #导入线程池模块 6 from multiprocessing.dummy import Pool 7 #实例化线程池对象,开启5个线程 8 pool = Pool(5) 9 10 headers = { 11 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' 12 } 13 url = 'https://www.pearvideo.com/category_9' 14 page_text = requests.get(url=url,headers=headers).text 15 # print(page_text) 16 vidio_list = [] 17 18 tree = etree.HTML(page_text) 19 li_list = tree.xpath('//ul[@id = "listvideoListUl"]/li') 20 for li in li_list: 21 detail_page_url = li.xpath('.//a/@href')[0] 22 detail_page_url = "https://www.pearvideo.com/" + detail_page_url 23 detail_page_text = requests.get(url=detail_page_url,headers=headers).text 24 # 拿到视频的链接 25 ex = 'srcUrl="(.*?)",' 26 video_url = re.findall(ex,detail_page_text)[0] 27 vidio_list.append(video_url) 28 29 # 耗时操作可以使用并发编程 30 # 使用线程池进行视频数据的并发下载 31 video_one_url = lambda link:requests.get(url=link,headers=headers).content 32 vedio_data_lsit =pool.map(video_one_url,vidio_list) 33 34 def saveVideo(data): 35 fileName = str(random.randint(0,1000))+".mp4" 36 with open(fileName,"wb") as fp: 37 fp.write(data) 38 print(fileName + "下载完毕") 39 # 使用线程池进行视频数据的持久化存储 40 pool.map(saveVideo,vedio_data_lsit) 41 pool.close() 42 pool.join()