2020年12月22日
scrapy中添加cookie踩坑记录
摘要： 【问题发现】 爬虫项目中，为了防止被封号(提供的可用账号太少)，对于能不登录就可以抓取的内容采用不带cookie的策略，只有必要的内容才带上cookie去访问。 本来想着很简单：在每个抛出来的Request的meta中带上一个标志位，通过在Cookie... 阅读全文
posted @ 2020-12-22 22:39 Python研究者 阅读(1336) 评论(0) 推荐(1) 编辑