2018年3月28日
scrapy爬取某网站,模拟登陆过程中遇到的那些坑
摘要： 本节内容 在访问网站的时候，我们经常遇到有些页面必须用户登录才能访问。这个时候我们之前写的傻傻的爬虫就被ban在门外了。所以本节，我们给爬虫配置cookie，使得爬虫能保持用户已登录的状态，达到获得那些需登录才能访问的页面的目的。 由于本节只是单纯的想保持一下登陆状态，所以就不写复杂的获取页面了，还 阅读全文
posted @ 2018-03-28 15:46 藤露 阅读(1480) 评论(0) 推荐(0) 编辑