2022年9月4日
Python scrapy 爬虫 模拟登录
摘要： 模拟登录，可以解决某些网站，必须要登录才能抓取的问题。 模拟登录就是要拿到网站的 cookie。 当爬虫程序进入网站开始抓取时数据时，爬虫的入口并不是 scrapy 给定的 pass ，而是 scrapy 封装好的 start_requests ，这个方法就是对 start_urls 执行 for 阅读全文
posted @ 2022-09-04 17:13 礼拜16 阅读(425) 评论(0) 推荐(0) 编辑