2019年7月4日
scrapy shell 遇到的问题
摘要： 有时候用scrapy shell来调试很方便,但是有些网站有防爬虫机制,所以使用scrapy shell会返回403,比如下面 有两种解决方法: (1):第一种方法是在命令上加上-s USER_AGENT='Mozilla/5.0' 第一种方法最简单但是每次操作都要加上去很繁琐,第二种方法比较好。 阅读全文
posted @ 2019-07-04 16:03 超超go 阅读(643) 评论(0) 推荐(0) 编辑