爬取某个网站,可以通过修改下拉框来实现数据批量加载
上图我们可以看到 view 下面的下拉框 的值是25 ,50 ,100 ,200。我们把200的值修改为5200,然后提交页面
然后直接出来所有的数据,不在需要做翻页:
爽不爽啊,请求的时候注意把cookie复制到请求头里面,有些网站是通过cookie控制翻页的