随笔分类 -  crawl

CrawlSpider-Redis数据重复
摘要：爬取的实际数据： RedisDeskManager读取的数据： 问题分析： 1. item返回处有问题，可能是有数据录入延迟，是数据库防重复的操作，使得前几条数据录入时和后面一条录入的数据相同 2. RedisDeskTopManager有bug 问题解决： 考虑到可能是输入录入太快，加上延时，也可 阅读全文
posted @ 2021-11-09 17:20 Mello 阅读(136) 评论(0) 推荐(0) 编辑
使用Cookie登录豆瓣
摘要：使用Fiddler抓包工具找到在豆瓣网的cookie。 把cookie键值对（一个）写在headers 发起请求 self.headers = { "User-Agent": "Mozihttps://accounts.douban.com/j/mobile/login/basiclla/5.0 ( 阅读全文
posted @ 2021-11-02 15:24 Mello 阅读(1922) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示