摘要:
请求传参 在某些情况下,我们爬取的数据不在同一个页面中,例如,我们爬取一个电影网站,电影的名称,评分在一级页面,而要爬取的其他电影详情在其二级子页面中。这时我们就需要用到请求传参 案例展示:爬取http://www.55xia.com电影网,将一级页面中的电影名称,名字,评分 二级页面中的导演,演员 阅读全文
摘要:
递归解析 递归爬取解析多页页面数据 每一个页面对应一个url,则scrapy工程需要对每一个页码对应的url依次发起请求,然后通过对应的解析方法进行作者和段子内容的解析。 实现方案: 1.将每一个页码对应的url存放到爬虫文件的起始url列表(start_urls)中。(不推荐) 2.使用Reque 阅读全文