python学习笔记及作业（post请求，request的高级用法，selenium）
1.post请求
get请求与post请求的区别
从网上找到很好的解释：
一.在我大万维网世界中，TCP就像汽车，我们用TCP来运输数据，它很可靠，从来不会发生丢件少件的现象。但是如果路上跑的全是看起来一模一样的汽车，那这个世界看起来是一团混乱，送急件的汽车可能被前面满载货物的汽车拦堵在路上，整个交通系统一定会瘫痪。为了避免这种情况发生，交通规则HTTP诞生了。HTTP给汽车运输设定了好几个服务类别，有GET, POST, PUT, DELETE等等，HTTP规定，当执行GET请求的时候，要给汽车贴上GET的标签（设置method为GET），而且要求把传送的数据放在车顶上（url中）以方便记录。如果是POST请求，就要在车上贴上POST的标签，并把货物放在车厢里。当然，你也可以在GET的时候往车厢内偷偷藏点货物，但是这是很不光彩；也可以在POST的时候在车顶上也放一些数据，让人觉得傻乎乎的。HTTP只是个行为准则，而TCP才是GET和POST怎么实现的基本。
二.在我大万维网世界中，还有另一个重要的角色：运输公司。不同的浏览器（发起http请求）和服务器（接受http请求）就是不同的运输公司。 虽然理论上，你可以在车顶上无限的堆货物（url中无限加参数）。但是运输公司可不傻，装货和卸货也是有很大成本的，他们会限制单次运输量来控制风险，数据量太大对浏览器和服务器都是很大负担。业界不成文的规定是，（大多数）浏览器通常都会限制url长度在2K个字节，而（大多数）服务器最多处理64K大小的url。超过的部分，恕不处理。如果你用GET服务，在request body偷偷藏了数据，不同服务器的处理方式也是不同的，有些服务器会帮你卸货，读出数据，有些服务器直接忽略，所以，虽然GET可以带request body，也不能保证一定能被接收到哦。
GET和POST本质上就是TCP链接，并无差别。但是由于HTTP的规定和浏览器/服务器的限制，导致他们在应用过程中体现出一些不同。
三.GET和POST还有一个重大区别，简单的说：
GET产生一个TCP数据包；POST产生两个TCP数据包。
长的说：
对于GET方式的请求，浏览器会把http header和data一并发送出去，服务器响应200（返回数据）；
而对于POST，浏览器先发送header，服务器响应100 continue，浏览器再发送data，服务器响应200 ok（返回数据）。
也就是说，GET只需要汽车跑一趟就把货送到了，而POST得跑两趟，第一趟，先去和服务器打个招呼“嗨，我等下要送一批货来，你们打开门迎接我”，然后再回头把货送过去。
因为POST需要两步，时间上消耗的要多一点，看起来GET比POST更有效。因此Yahoo团队有推荐用GET替换POST来优化网站性能。但这是一个坑！跳入需谨慎。为什么？
1. GET与POST都有自己的语义，不能随便混用。
2. 据研究，在网络环境好的情况下，发一次包的时间和发两次包的时间差别基本可以无视。而在网络环境差的情况下，两次包的TCP在验证数据包完整性上，有非常大的优点。
3. 并不是所有浏览器都会在POST中发送两次包，Firefox就只发送一次。
'''''' ''' post请求登陆github ''' import requests import re # 一 访问login页获取token信息 ''' 请求url: https://github.com/login 请求方式: GET 响应头: Set-Cookie 请求头: Cookie User-Agent ''' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36' } response = requests.get(url='https://github.com/login', headers=headers) # print(response.text) # 把login页返回的cookies信息转换成字典 login_cookies = response.cookies.get_dict() authenticity_token = re.findall('<input type="hidden" name="authenticity_token" value="(.*?)" />', response.text, re.S)[0] print(authenticity_token) # 二 往sessionurl发送POST请求 ''' 请求url: https://github.com/session 请求方式: POST 请求头: # 上一次请求从哪里来 Referer: https://github.com/login Cookie:... User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36 请求体: 只有POST请求才会有请求体。 commit: Sign in utf8: ✓ authenticity_token: VX79esFc0YPdR1UFzUM/6MTRZOlYQ0btF5k2/x7uZea0x2E6W4bmRpwHsaCBN+096PaWNkcQjJOsyUzUqsAhIw== LLWlTr0qLcYC74hn7OI7IlyeB9rZei9737Lqtzz0sKTgY7Js7pUUhZ6bNC6lCkS+OHfVukkbTejjd0BnjPvGUg== login: tankjam1 password: ***** webauthn-support: unsupported ''' # 拼接请求头信息 headers2 = { 'Referer': 'https://github.com/login', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36', } # 拼接请求体信息 form_data = { "commit": "Sign in", "utf8": "✓", "authenticity_token": authenticity_token, "login": "tankjam", "password": "kermit46709394", "webauthn-support": "unsupported", } # 往session地址发送post请求 # 携带请求头、请求体、login页的cookies信息 response2 = requests.post(url='https://github.com/session', data=form_data, headers=headers2, cookies=login_cookies) print(response2.status_code) # print(response2.text) with open('github.html', 'w', encoding='utf-8') as f: f.write(response2.text)
2.request的高级用法
import requests response=requests.get('https://www.baidu.com/') # reponse响应 # 获取响应状态码 print(response.status_code) # 获取url地址 print(response.url ) # 获取文本 print(response.text) # 获取二进制流 print(response.content) # 获取页面请求头信息 print(response.headers) # 上一次跳转的地址 print(response.history) # 返回cookie字典，返回cookies对象 # 获取cookies信息 print(response.cookies) # 获取cookies信息转换成字典 print(response.cookies.get_dic()) # 获取cookies信息转换成字典 print(response.cookies.items()) # 字符编码 print(response.encoding) response.encoding='utf-8' print(response.elapsed) # 生成器 # 往音频地址发送get请求 import requests # https=http+ssl(携带安全认证证书) # ssl是全世界的安全认证中心 requests.get(url='https://xiaohuar.com',verify=True) # 方法一：True 代表携带证书 print() # 超时设置 import requests response=requests.get('https://www.baidu.com/',timeout=0.1) print(response.status_code) # 代理使用 # 伪代码 import requests proxies={ # 带用户名密码的代理,@符号前是用户名与密码 'http':'http://tank:123@localhost:9527', 'http':'http://localhost:9527', 'https':'https://localhost:9527', } response=requests.get('https://www.12306.cn', proxies=proxies) print(response.status_code) # 免费代理西刺代理 # http://ipip.net # 花生代理 # 加密方式与用户体验是挂钩的 # 认证方式 # # 6.上传文件 import requests # 上传文本文件 files1 = {'file': open('user.txt', 'rb')} response = requests.post('http://httpbin.org/post', files=files1) print(response.status_code) # 200 print(response.text) # 200 # # 上传图片文件 files2 = {'jpg': open('35mm-aerial-aerial-shot-1105766.jpg', 'rb')} response = requests.post('http://httpbin.org/post', files=files2) print(response.status_code) # 200 print(response.text) # 200
3.selenium模块
超级无敌好用，用来模拟人操作浏览器。
''' selenium模块讲解 一、什么是selenium 最初是一个自动化测试工具，selenium会模拟浏览器以及人的行为帮我们 给网站发送JS请求，跳过登录方式 request不可以自动执行JS代码 浏览器会帮我们的再次发送异步请求自动执行JS代码 二、为什么要使用？ 1.优点： 使用requests模块登录需要分析大量的复杂通信流程，使用selenium可以轻松跳过登录验证 2.缺点： 要驱动浏览器，浏览器会加载css,js，图片。。数据等所有的代码，会使得爬取效率低。 三、如何使用 1.首先需要下载selenium模块，方法和下载requests模块相同 在命令行中输入：pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium 2.下载驱动器 ''' #selenium第一次 # webdriver是用来驱动浏览器的 # from selenium.webdriver import ActionChains 调用得到一个动作链对象，破解滑动验证码的时候用的，可以拖动图片 from selenium import webdriver # 用来驱动浏览器的 from selenium.webdriver import ActionChains # 破解滑动验证码的时候用的 可以拖动图片 from selenium.webdriver.common.by import By # 按照什么方式查找，By.ID,By.CSS_SELECTOR from selenium.webdriver.common.keys import Keys # 键盘按键操作 from selenium.webdriver.support import expected_conditions as EC # 和下面WebDriverWait一起用的 from selenium.webdriver.support.wait import WebDriverWait # 等待页面加载某些元素 from selenium import webdriver import time # 通过谷歌浏览器驱动打开谷歌浏览器 # 绝对路径有可能有.exe,有可能没有 # 驱动浏览器的一种方式 chrome=webdriver.Chrome(r'D:\360安全浏览器下载\chromedriver_win32\chromedriver') # 驱动浏览器的另一种方式，将chromedriver.exe放入到python解释器的scipt文件中，；之后还要进行环境变量的配置。 # 往博客园主页发送get请求 try: # chrome.get('https://www.cnblogs.com/') # 访问百度 # chrome是一个驱动对象,里面包含其他函数 # 参数1：驱动对象。参数2：等待 wait=WebDriverWait(chrome,10) chrome.get('https://www.baidu.com/') # 查找input输入框 #!!!!!!注意！！！！！EC.presence_of_element_located((By.ID,"kw"))里面是写的元组， #参数１．查找属性的方式，参数2：属性的名字 input_tag=wait.until(EC.presence_of_element_located((By.ID,"kw")))# kw是id的属性 # 3.搜索一拳超人 input_tag.send_keys('一拳超人') # 4.按键盘回车键 input_tag.send_keys(Keys.EQUALS) time.sleep(20) # 无论发生什么异常都会关闭浏览器 finally: # 关闭浏览器 chrome.close()
4.selenium之基本选择器
注意：所找属性要是唯一的，一般来说首选id
from selenium import webdriver # 用来驱动浏览器的 import time # 获取驱动对象 driver=webdriver.Chrome() try: # 显示等待：等待某个元素加载 # 参数1：驱动对象，参数2：等待时间 # wait=WebDriverWait(chrome,10) driver.get('https://china.nba.com/') # 隐式等待:等待页面所有元素加载完成 # 等待加载完成后，从加载好的标签里查找，每次查找会等待10秒，如果找不到就下一个 driver.implicitly_wait(10) news_tag=driver.find_element_by_class_name('nav-news') print(news_tag) time.sleep(10) finally: driver.close() ''' ===============所有方法=================== element是查找一个标签 elements是查找所有标签 1、find_element_by_link_text 通过链接文本去找 2、find_element_by_id 通过id去找 3、find_element_by_class_name 4、find_element_by_partial_link_text 5、find_element_by_name 6、find_element_by_css_selector 7、find_element_by_tag_name ''' # 1.以文本作为标识 try: # 显示等待：等待某个元素加载 # 参数1：驱动对象，参数2：等待时间 # wait=WebDriverWait(chrome,10) driver.get('https://baidu.com/') driver.implicitly_wait(10) send_tag=driver.find_element_by_link_text('登录') send_tag.click() # 隐式等待:等待页面所有元素加载完成 # 等待加载完成后，从加载好的标签里查找，每次查找会等待10秒，如果找不到就下一个 finally: driver.close() # 2.通过局部文本查找标识 try: # 显示等待：等待某个元素加载 # 参数1：驱动对象，参数2：等待时间 # wait=WebDriverWait(chrome,10) driver.get('https://baidu.com/') driver.implicitly_wait(10) login_button = driver.find_element_by_partial_link_text('登') login_button.click() # 隐式等待:等待页面所有元素加载完成 # 等待加载完成后，从加载好的标签里查找，每次查找会等待10秒，如果找不到就下一个 finally: driver.close() # 3.通过class来找 try: # 显示等待：等待某个元素加载 # 参数1：驱动对象，参数2：等待时间 # wait=WebDriverWait(chrome,10) driver.get('https://baidu.com/') driver.implicitly_wait(10) login_tag1 = driver.find_element_by_class_name('tang-pass-footerBarULogin') login_button.click() time.sleep(1) # 隐式等待:等待页面所有元素加载完成 # 等待加载完成后，从加载好的标签里查找，每次查找会等待10秒，如果找不到就下一个 finally: driver.close() # 4.通过name属性名查找 try: driver.get('https://baidu.com/') driver.implicitly_wait(10) username = driver.find_element_by_class_name('useName') username.send_keys('*******') time.sleep(1) finally: driver.close() # 5.通过id属性查找 try: driver.get('https://baidu.com/') driver.implicitly_wait(10) username = driver.find_element_by_class_name('useName') username.send_keys('*******') time.sleep(1) finally: driver.close() # 6.通过属性选择器查找 try: driver.get('https://baidu.com/') driver.implicitly_wait(10) login_submit = driver.find_element_by_css_selector('#TANGRAM__PSP_10__submit') # driver.find_element_by_css_selector('.pass-button-submit') login_submit.click() time.sleep(1) finally: driver.close() # 7、find_element_by_tag_name 根据标签名称查找标签 try: driver.get('https://baidu.com/') driver.implicitly_wait(10) div = driver.find_element_by_tag_name('div') print(div.tag_name) time.sleep(1) finally: driver.close()
5.京东实例
# 标签中首选id # 目的就是查找唯一的属性，来定位 from selenium import webdriver # 用来驱动浏览器的 from selenium.webdriver import ActionChains # 破解滑动验证码的时候用的 可以拖动图片 from selenium.webdriver.common.by import By # 按照什么方式查找，By.ID,By.CSS_SELECTOR from selenium.webdriver.common.keys import Keys # 键盘按键操作 from selenium.webdriver.support import expected_conditions as EC # 和下面WebDriverWait一起用的 from selenium.webdriver.support.wait import WebDriverWait # 等待页面加载某些元素 from selenium import webdriver import time # 通过谷歌浏览器驱动打开谷歌浏览器 # 绝对路径有可能有.exe,有可能没有 # 驱动浏览器的一种方式 chrome=webdriver.Chrome(r'D:\360安全浏览器下载\chromedriver_win32\chromedriver') # 驱动浏览器的另一种方式，将chromedriver.exe放入到python解释器的scipt文件中，；之后还要进行环境变量的配置。 # 往博客园主页发送get请求 try: # chrome.get('https://www.cnblogs.com/') # 访问百度 # chrome是一个驱动对象,里面包含其他函数 # 参数1：驱动对象。参数2：等待 wait=WebDriverWait(chrome,10) chrome.get('https://www.jd.com/') # 查找input输入框 #!!!!!!注意！！！！！EC.presence_of_element_located((By.ID,"kw"))里面是写的元组， #参数１．查找属性的方式，参数2：属性的名字 input_tag=wait.until(EC.presence_of_element_located((By.ID,"key")))# kw是id的属性 # 3.搜索一拳超人 input_tag.send_keys('唐诗三百首') # 4.按键盘回车键 search_button=wait.until(EC.presence_of_element_located((By.CLASS_NAME,"button"))) search_button.click() time.sleep(20) # 无论发生什么异常都会关闭浏览器 finally: # 关闭浏览器 chrome.close()
