十二、scrapy中实现翻页请求

scrapy.Request能构建一个requests,同时指定提取数据的callback函数

```

  next_page_url = '...'

  while 判断条件,结束递归:

    yield scrapy.Request(next_page_url,callback=self.parse)

```

scrapy.Request方法讲解

scrapy.Request(url,[,callback,method='GET',headers,body,cookies,meta,dont_filter=False])

`callback`:指定传入的url交给哪个解析函数取处理。

`meta`:实现在不同的解析函数中传递数据,meta默认会携带部分数据。

`dont_filter`:scrapy自带去重功能,dont_filter让scrapy的去重不会过滤当前url,可以请求重复的url。

`body`:当method='POST'时,携带的数据。

posted @ 2020-05-22 10:44  Norni  阅读(649)  评论(0编辑  收藏  举报