Strava
2020年9月29日
scrapy深入爬取遇到的问题及解决方法
摘要： 1.小例子思路草图 2.遇到的问题 2.1 异端请求（容易忽略） 在跳转详情页时候，请求的域名发生了变化，scrapy会给你过滤掉这个url 2.1.1.解决 更改spider.py allowed_domains= ['www.xxx.com'] allowed_domains= ['www.xx 阅读全文
posted @ 2020-09-29 09:30 cheflone 阅读(899) 评论(0) 推荐(0) 编辑