python提取浏览器Cookie

在用浏览器进行网页访问时，会向网页所在的服务器发送http协议的GET或者POST等请求，在请求中除了指定所请求的方法以及URI之外，后面还跟随着一段Request Header。Request Header的内容主要用于描述本地信息，如所用的浏览器、所用的系统、语言、所能接受的返回数据的编码格式等，其中有一个非常重要的Header项就是Cookie，Cookie可以说是网站的自定义数据集。由于服务器端无法无法控制本地（浏览器）的内存数据，但服务器又有必要搜集与自己所提供的服务相关的本地状态信息，而Cookie就承载了这一功能，目的是记录用户在网站的状态信息。

在用python对网页进行访问的时候，如果希望得到与在网页端相同的结果，用该网页在浏览器中所保留的Cookie作为python的请求Cookie是一个比较值得推荐的做法。

本文主要讨论如何提取浏览器保存在本地的Cookie，所用的浏览器为Chrome。

 

 

Cookie文件

Chrome用sqlite来维护Cookie，Cookie中的信息被保存在sqlite数据库当中，如果系统为Windows，那么数据库文件所在的位置为[1]：

C:\Users\{UserName}\AppData\Local\Google\Chrome\User Data\Default\Cookies

其中该路径的{UserName}是当前系统的用户名。

username = os.environ.get('USERNAME')
cookie_file = 'C:\Users\{UserName}\AppData\Local\Google\Chrome\User Data\Default\Cookies'.format(UserName=username)

 

 

Cookie表单

通过Cookie文件路径，我们可以建立数据库连接，然后提取出数据库的信息。

con = sqlite3.connect(cookie_file)
cursor = con.cursor()

数据库中的cookies表就是用于保存浏览器Cookie的。提取表中各列的名称

cursor.execute('SELECT * FROM cookies')
for description in cursor.description:
    print(description[0])

各字段的描述如下

  • creation_utc：Cookie产生的utc时间
  • host_key：Cookie所在的网页(domain)
  • name：Cookie名称
  • value：不加密的Cookie值，由于Chrome几乎都会对Cookie值加密后再存储，因此这个字段基本都是空的
  • path：如果服务器需要设置Cookies，那么服务器在响应浏览器请求的时候会返回Set-Cookie的响应，并且附带所要设置的Cookies，这里的path的默认值就是返回Set-Cookie的那个页面。path以'/'为开头。
  • expires_utc：Cookie的有效期限
  • is_secure：指示在浏览器与服务器之间传输该Cookie时需要采用加密通道，即https
  • is_httponly：当设置了该值为1时，在浏览器上运行的JS不能读取到该Cookie，该Cookie只能由http请求读取。这个标记主要目的是提高Cookie的安全性，防止无关的JS脚本窃取Cookie中的重要信息
  • last_access_utc：上一次访问到该Cookie的时间
  • has_expires：Cookie的期限是否有效
  • is_persistent：如果expires_utc不为0，那么这个值为1
  • priority：Cookie的删除优先级，Cookie也有存储上限的，当超出上限则需要删除，此时会有特定的删除策略来删除不同priority的Cookie
  • encrypted_value：加密后的Cookie值
  • firstpartyonly：first-party以及third-party是HTTP Request的一种分类，first-party指的是当前所发送的HTTP请求的URL跟浏览器地址栏上的URL一致；否则就是third-party。如我们平常看到的很多网页上的图片或者广告，其实都是third-party request。无论first-party或者third-party，都是HTTP请求，在往服务器发送请求的时候会带上host为该URL的Cookies，不过如果一个Cookie指定了firstpartyonly，那么如果请求为thrid-party，在发送请求的时候不会附带该Cookie。以上面所说的网页中的图片为例子，如果该图片URL的Cookie设定为firstpartyonly，在浏览网站时，通过third-party访问了该图片所在的URL，就不会发送该Cookie。

 

上述字段中有些是只有浏览器才会用到的，这里没有必要用上，因此我们仅需要提取一些必要字段

cursor.execute('SELECT host_key, name, value, path, expires_utc, is_secure, encrypted_value '
                        'FROM cookies WHERE host_key like "%{}%";'.format(domain_name))

 

 

解密Cookie

我们前面说过，Chrome在对Cookie的值保存之前会进行加密处理，并保存在数据库的encrypt_value字段中。在Windows系统中，Cookie加密采用的是系统提供的函数CryptProtectData，我们在解密的时候也需要调用系统提供的函数CryptUnprotectData[1]。解密的Windows用户必须与加密的用户一致才能成功解密。

不过系统提供的是C函数，python通过ctypes库来实现对C函数的调用。

CryptUnprotectData需要7个参数：

  • pDataIn：一个指向DATA_BLOB结构体的指针，该DATA_BLOB内需存放被解密的数据。DATA_BLOB结构体内含两个成员：cbData，数据的所占用的字节数；pbData，指向数据所在内存的指针。
  • ppszDataDescr：描述该加密数据的信息，如果在进行加密操作的时候添加了描述，那么在解密的时候也能得到该描述信息。获得该描述后需要调用系统提供的LocalFree释放ppszDataDescr指向的内存。如果不需要，设为NULL即可。
  • pOptionalEntropy：一个指向含有密钥DATA_BLOB的指针，不过在进行Cookie加密时通常不会用到。
  • pvReserved：保留参数，设为NULL即可。
  • pPromptStruct：解密是一个有安全风险的操作，可能需要弹出风险提升，如果不需要弹出提示设置为NULL即可。
  • dwFlags：安全相关的标志，设置为0即可。
  • pDataOut：一个指向解密后的数据的DATA_BLOB，获得解密数据后需要调用系统提供的LocalFree函数释放pbData指向的内存。
class DATA_BLOB(ctypes.Structure):
    _fields_ = [("cbData", ctypes.wintypes.DWORD),
                ("pbData", ctypes.POINTER(ctypes.c_char))]
    def __init__(self, data):
        string = str(data)
        self.cbData = len(string)
        self.pbData = ctypes.create_string_buffer(string)

def descrypt(cipher):
    #parameters
    DataIn = DATA_BLOB(cipher)
    Descr = ctypes.c_wchar_p()
    DataEntropy = DATA_BLOB('')
    Reserved = None
    PromptStruct = None
    CRYPTPROTECT_UI_FORBIDDEN = 0x00
    DataOut = DATA_BLOB('')
    #win call
    ret = ctypes.windll.crypt32.CryptUnprotectData(ctypes.byref(DataIn),
                                                    Descr, 
                                                    ctypes.byref(DataEntropy), 
                                                    Reserved, 
                                                    PromptStruct, 
                                                    CRYPTPROTECT_UI_FORBIDDEN, 
                                                    ctypes.byref(DataOut)
                                                    )
    if not ret:
        raise RuntimeError("failed to descrypt")

    buf = ctypes.create_string_buffer(int(DataOut.cbData))
    ctypes.memmove(buf, DataOut.pbData, DataOut.cbData)
    ctypes.windll.kernel32.LocalFree(Descr)    
    ctypes.windll.kernel32.LocalFree(DataOut.pbData)
    return buf.value

 

 

创建Cookie并填充CookieJar

python并不推荐我们去自行创建Cookie，因为作为用户通常不需要去改动，甚至没有必要知道Cookie的内容，不过此处出于特殊的需求，需要通过在Cookie数据库中获取的数据来创建Cookie。

首先我们来简单了解一下Set-Cookie。我们知道Cookie都是服务器为浏览器设置的，设置Cookie是通过服务器返回的Response Header，如果header中包含有Set-Cookiie相关字段，则能进行Cookie的设置。

http.cookiejar.Cookie的初始化需要提供18个参数[2]：

  • version：比较老版本的Cookie（如rfc2109，已淘汰）要求Cookie必须有Version字段，不过较新的版本（如rfc6265）的Cookie去掉了这一字段，因此这里填0就行。
  • name：Cookie名称
  • value：Cookie值
  • port：http端口，指定了该字段的Cookie只能发送到服务器的指定端口，只有rfc2965中的Set-Cookie2才用到该字段，rfc2695是一个已淘汰的版本，这里填None就行。
  • port_specified：是否有指定端口，同样是已淘汰的参数，填False。
  • domain：服务器域名
  • domain_specified：是否指定了服务器域名
  • domain_initial_dot：服务器域名是否以"."作为开头
  • path：服务器路径
  • path_specified：是否指定了服务器路径
  • secure：是否采用安全通道
  • expires：Cookie期限
  • discard：是否为一次性Cookie，同上方的is_persistent，填False
  • comment：Cookie注释，填None
  • comment_url：Cookie注释所在的URL，填None
  • rest：存储该Cookie的一些非标准的属性，填{}
  • rfc2109：是否为rfc2109标准，默认值为False

 

    cj = http.cookiejar.CookieJar()
    for row in cursor.fetchall():
        host, name, value, path, expires, secure, encrypted_value = row[:]
        data = descrypt(encrypted_value)
        c = http.cookiejar.Cookie(0, name, data, None, False, host, host.startswith('.'), host.startswith('.'),
                                    path, True, secure, expires, False, None, None, {})
        cj.set_cookie(c)

 

其中比较重要的domain相关参数请查看：rfc2109的Interpreting Set-Cookie、Rejecting Cookies以及rfc6265的The Domain Attribute、Storage Model

 

Reference：

  1. Client Side HTTP Cookie Security
  2. cookiejar.Cookie
posted @ 2018-09-29 02:40  TaigaComplex  阅读(13001)  评论(0)  编辑  收藏  举报