2.Request的会话对象

s = requests.session()

Python2  

S = requests.Session()

所有一次会话的信息都保存在s中,只需要对s进行操作就可以了。

s.get(url)

Requests通过会话信息来获取cookie信息

Cookie的五要素:

Name   value   domain   path  expires

实例

import requests
def save_cookie():
    s = requests.session()
    s.get('https://www.hao123.com/')
    print(s.cookies)
import requests
def save_cookie():
    s = requests.session()
    s.get('https://www.hao123.com/')
    print(s.cookies)
    print(s.cookies.keys())
    print(s.cookies.values())
    for i in s.cookies:
        print(i)
        print(i.name, i.value, i.domain, i.path, i.expires)
if __name__ == '__main__':
    save_cookie()
    print(s.cookies.keys())
    print(s.cookies.values())
    for i in s.cookies:
        print(i)
        print(i.name, i.value, i.domain, i.path, i.expires)
if __name__ == '__main__':
    save_cookie()

Cookie的常用属性:

Cookie常用的一些属性:

1. Domain  域

2. Path       路径

3. Expires  过期时间

4. name    对应的key值

5. value      key对应的value值

cookie中的domain代表的是cookie所在的域,默认情况下就是请求的域名,例如请求http://www.server1.com/files/hello, 那么响应中的set-Cookie默认会使用www.server1.com作为cookie的domain,在浏览器中也是按照domain来组织cookie的。 我们可以在响应中设置cookie的domain为其他域,但是浏览器并不会去保存这些domain为其他域的cookie。

cookie中的path能够进一步的控制cookie的访问,当path=/; 当前域的所有请求都可以访问到这个cookie。 如果path设为其他值,比如path=/test,那么只有/test下面的请求可以访问到这个cookie。

使用已知cookie信息,如何访问网站:

url = 'http://httpbin.org/cookies'

r = requests.get(url, cookies={'key1': 'value1', 'key2': 'value2'})

print(r.text)

结果:

{

  "cookies": {

    "key1": "value1",

    "key2": "value2"

  }

}

 

代理访问:

采集时为避免被封IP,经常会使用代理。requests也有相应的proxies属性。

西刺代理

import requests
proxies = {
  "http": "http://182.108.5.246:8118",
  # "https": "http://112.117.184.219:9999",
}
r1 = requests.get("http://2017.ip138.com/ic.asp", proxies=proxies)
r2 = requests.get("http://2017.ip138.com/ic.asp")
print(r1.text)
print(r2.text)

输出 [
182.108.5.246] [106.38.115.34]

如果代理需要账户和密码,则需这样:

proxies = {

    "http": "http://user:pass@10.10.1.10:3128/",}

requests的中文乱码问题:

import requests

param = {"key1": "hello", "key2": "world"}

url = 'https://www.baidu.com/'

r = requests.get(url=url)

print(r.encoding)              #ISO-8859-1默认使用的是这个

r.encoding = "utf-8"

print(r.text)

这样就可以正常显示了

Requests给你提供的所有接口,在传输数据的时候,都可以以key:value的形式进行传输,相对来说比较好用

 

posted on 2018-01-22 21:18  菜菜的痛  阅读(124)  评论(0编辑  收藏  举报