一.基于requests模块的cookie操作
引言:有些时候,我们在使用爬虫程序去爬取一些用户相关信息的数据(爬取张三“人人网”个人主页数据)时,如果使用之前requests模块常规操作时,往往达不到我们想要的目的,例如:
cookie会话跟踪技术,服务端产生发给客户端保存,再次访问服务器,浏览器就携带这个cookie,让服务器识别客户端浏览器
爬取张三用户的豆瓣网的个人主页页面数据--没有测试成功
- cookie:基于用户的用户数据
- 需求:爬取张三用户的豆瓣网的个人主页页面数据
- cookie作用:服务器使用cookie来记录客户端的状态信息
实现流程:
1.执行登录操作(获取cookie)
2.发起个人主页请求时,需要将cookie携带到该请求中
注意:session对象
import requests session = requests.session() # 1.发起登录请求:将cookie获取,切换存储到session对象中 login_url = 'https://accounts.douban.com/login' # post 请求 ---data参数 data = { 'source':'movie', 'redir':'https://movie.douban.com/', 'form_email':'', 'form_password':'', 'login':'登录', } headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'} # 使用session发起请求 login_response = session.post(url=login_url,data=data,headers=headers) # 2.发起个人主页请求(session(cookie)),获取响应页面数据 url = 'https://www.douban.com/people/188197188/' response = session.get(url=url,headers=headers) page_text = response.text with open('./douban110.html','w',encoding='utf-8')as f: f.write(page_text)
代理操作
- 1.代理:第三方代理本体执行相关的事务。生活:代购
- 2.为什么要使用代理
- 反爬操作,非正常访问的ip禁止
- 反反爬手段--设置爬虫的代理ip
- 3.分类:
- 正向代理:代替客户端获取数据--爬虫客户端程序-正向代理
- 反向代理:代理服务器端提供数据
- 4.免费代理ip的网站提供商
- www.goubanjia.com 推荐
- 快代理
- 西祠代理
- 5.代码
http://www.goubanjia.com/
---------------------------------------------------------------------------------------------
import requests url = 'http://www.baidu.com/s?ie=utf-8&wd=ip' headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'} # 将代理ip封装到字典中 proxy = { 'http':'112.25.6.26:80' } # 更换网络ip,发起请求之前 response = requests.get( url=url,proxies=proxy,headers=headers) with open('./daili.html','w',encoding='utf-8')as f: f.write(response.text)
执行后结果:
验证处理--打码平台
登陆的次数过多就会出现验证码
验证码处理:
- 1.手动识别验证码
- 2.云打码平台自动识别验证码
云打码平台处理验证码的实现流程:
- 1.对携带验证码的页面数据进行抓取
- 2.可以将页面数据中验证码进行解析,验证码图片下载到本地
- 3.可以将验证码图片提交给三方平台进行识别,返回验证码图片上的数据值
- 云打码平台:
- 1.在官网中进行注册(普通用户和开发者用户)
- 2.登录开发者用户:
- 1.实例代码的下载(开发文档-》调用实例及最新的DLL-》PythonHTTP实例下载)
- 2.创建一个软件:我的软件-》添加新的软件
-3.使用示例代码中的源码文件中的代码进行修改,让其识别验证码图片中的数据值
如何获取验证码图片上的数据值
1.到官网进行注册(普通用户和开发者用户)
- 2.登录开发者用户:
下载后解压放在jupyter notebook相应目录下
2.创建一个软件:点击我的软件---》添加新的 软件
3.使用示例代码中的源码文件中的代码进行修改,让其识别验证码图片中的数据值
识别成功:
进行登录操作:
抓包:
import requests from lxml import etree import json,time,re url = 'https://www.douban.com/accounts/login?source=movie' headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'} page_text = requests.get(url=url,headers=headers).text # 2.可以将页面数据中验证码进行解析,验证码图片下载到本地 tree = etree.HTML(page_text) # 验证码图片xpath 的值: //*[@id="captcha_image"] codeImg_url = tree.xpath('//*[@id="captcha_image"]/@src')[0] # 获取了验证码图片的二进制数据值 code_img = requests.get(url=codeImg_url,headers=headers).content # 获取captcha-id # 正则解析 # 使用re.S参数以后,正则表达式会将这个字符串作为一个整体,将“\n”当做一个普通的字符加入到这个字符串中,在整体中进行匹配。 # <img id="captcha_image" src="https://www.douban.com/misc/captcha?id=O1pMk4XJ7wuKuLz8DYhVZpw3:en&size=s" alt="captcha" class="captcha_image"> c_id = re.findall('<img id="captcha_image".*?id=(.*?)&.*?>',page_text,re.S)[0] with open('./code.png','wb')as f: f.write(code_img) # 调用验证码函数,获取识别结果 codeText = getCode('./code.png') print(codeText) # 进行登录操作 post = 'https://accounts.douban.com/login' data = { 'source':'movie', 'redir':'https://movie.douban.com/', 'form_email':'836342406@qq.com', 'form_password':'xl836342406,.', 'captcha-solution':codeText, 'captcha-id':c_id, 'login':'登录', } print(c_id) login_text = requests.post(url=post,data=data,headers=headers).text with open('./login.html','w',encoding='utf-8')as f: f.write(login_text)
---
# 该函数调用了打码平台的相关接口对指定的验证码识别,返回识别结果 def getCode(codeImg): # 普通云打码用户名 username = 'foremost' # 密码 password = 'ydm(qq)' # 软件ID,开发者分成必要参数。登录开发者后台【我的软件】获得! appid = 6322 # 软件密钥,开发者分成必要参数。登录开发者后台【我的软件】获得! appkey = '4b936b7eb8060d3b7667b8098dd85233' # 验证码图片文件 filename = codeImg # 验证码类型,# 例:1004表示4位字母数字,不同类型收费不同。请准确填写,否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html codetype = 3000 # 超时时间,秒 timeout = 20 # 检查 if (username == 'username'): print('请设置好相关参数再测试') else: # 初始化 yundama = YDMHttp(username, password, appid, appkey) # 登陆云打码 uid = yundama.login(); print('uid: %s' % uid) # 查询余额 balance = yundama.balance(); print('balance: %s' % balance) # 开始识别,图片路径,验证码类型ID,超时时间(秒),识别结果 cid, result = yundama.decode(filename, codetype, timeout); print('cid: %s, result: %s' % (cid, result)) # ---自己加 return result
----
class YDMHttp: apiurl = 'http://api.yundama.com/api.php' username = '' password = '' appid = '' appkey = '' def __init__(self, username, password, appid, appkey): self.username = username self.password = password self.appid = str(appid) self.appkey = appkey def request(self, fields, files=[]): response = self.post_url(self.apiurl, fields, files) response = json.loads(response) return response def balance(self): data = {'method': 'balance', 'username': self.username, 'password': self.password, 'appid': self.appid, 'appkey': self.appkey} response = self.request(data) if (response): if (response['ret'] and response['ret'] < 0): return response['ret'] else: return response['balance'] else: return -9001 def login(self): data = {'method': 'login', 'username': self.username, 'password': self.password, 'appid': self.appid, 'appkey': self.appkey} response = self.request(data) if (response): if (response['ret'] and response['ret'] < 0): return response['ret'] else: return response['uid'] else: return -9001 def upload(self, filename, codetype, timeout): data = {'method': 'upload', 'username': self.username, 'password': self.password, 'appid': self.appid, 'appkey': self.appkey, 'codetype': str(codetype), 'timeout': str(timeout)} file = {'file': filename} response = self.request(data, file) if (response): if (response['ret'] and response['ret'] < 0): return response['ret'] else: return response['cid'] else: return -9001 def result(self, cid): data = {'method': 'result', 'username': self.username, 'password': self.password, 'appid': self.appid, 'appkey': self.appkey, 'cid': str(cid)} response = self.request(data) return response and response['text'] or '' def decode(self, filename, codetype, timeout): cid = self.upload(filename, codetype, timeout) if (cid > 0): for i in range(0, timeout): result = self.result(cid) if (result != ''): return cid, result else: time.sleep(1) return -3003, '' else: return cid, '' def report(self, cid): data = {'method': 'report', 'username': self.username, 'password': self.password, 'appid': self.appid, 'appkey': self.appkey, 'cid': str(cid), 'flag': '0'} response = self.request(data) if (response): return response['ret'] else: return -9001 def post_url(self, url, fields, files=[]): for key in files: files[key] = open(files[key], 'rb'); res = requests.post(url, files=files, data=fields) return res.text
----
结果: