2015年10月18日
【转】scrapy爬取深度设置
摘要： 转自http://blog.csdn.net/u012150179/article/details/38226103通过在settings.py中设置DEPTH_LIMIT的值可以限制爬取深度，这个深度是与start_urls中定义url的相对值。也就是相对 url的深度。例如定义url为：http... 阅读全文
posted @ 2015-10-18 14:32 withJessica 阅读(1009) 评论(0) 推荐(0) 编辑