第五节 IP代理和cookie
1 import urllib.request 2 url1 = 'https://www.baidu.com' 3 4 5 #http://www.httpbin.org 这个网站可以课程方便的查看http请求的一些参数 6 # 快代理 7 #创建一个代理IP,传入的值是一个字典,键是http或者https ,值是IP:端口号,.Proxy代理,Handler组织者,顾问 8 handler = urllib.request.ProxyHandler({'http':'114.226.162.29:9999'}) 9 opener = urllib.request.build_opener(handler) 10 resp = opener.open(url1) 11 print(resp.readline())
1 ''' 2 在网站中,http请求是无状态的。即使是第一次请求和服务器连接并且登录成功后,第二次请求服务器依然不知道当前请求是哪个用户 3 cookie的出现就是为了解决这个问题,第一次登录后服务器返回一些数据(cookie)给浏览器,然后浏览器保存在本地,当用户发送第二次请求的时候 4 ,就会把上次请求存储的cookie数据自动的携带给服务器,服务器通过浏览器携带的数据就能判断当前用户是哪一个了,cookie存储的数据有限 5 不同的浏览器有不同的存储大小,但一般不超过4kb,因此使用cookie只能存储一些小量的数据集 6 ''' 7 from urllib import request 8 url = 'http://www.renren.com/880151247/profile' 9 header = { 10 "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36", 11 "Cookie":"anonymid=k4zsbvoygfjodm; depovince=GW; _r01_=1; JSESSIONID=abcKJmXBv8wp5hj07uX9w; ick_login=3e23d33e-2a1f-41de-b34e-012c899f6364; t=348887651664a84b83898ad687ba5b699; societyguester=348887651664a84b83898ad687ba5b699; id=973339459; xnsid=8eabdf62; jebecookies=975ced4d-c406-409b-94b2-9c0d7dddb9cd|||||; ver=7.0; loginfrom=null; jebe_key=d740e568-0917-48ee-a456-b2ce647012e1%7Cb26b13bc3816d83a2dac22a028f0e8e9%7C1578154341163%7C1%7C1578154338765; jebe_key=d740e568-0917-48ee-a456-b2ce647012e1%7Cb26b13bc3816d83a2dac22a028f0e8e9%7C1578154341163%7C1%7C1578154338767; wp_fold=0" 12 } 13 req = request.Request(url,headers=header) 14 resp = request.urlopen(req) 15 print(resp.readlines(5))