scrapy获取headers的set-cookie的坑

使用requests的时候

    next_url=req.headers.get("Location")
    cookie= req.headers.get("Set-Cookie")

成功拿到location和set-cookie

然而。。。。

使用scrapy
可以成功获取loction

 next_url = response.headers.get("Location")

但是在获取set-cookie的时候

response.headers.get("Set-Cookie")

首先上面的代码不会出错，并且取出来的确实是string，但是你会发现它只能取出一部分的cookie，这个时候我们就要用的另外的方法了

cookie_list=response.headers.getlist("Set-Cookie")

然后拼接一下就可以了

headers["Cookie"] = ";".join(cookie)

真坑。。。。。