摘要: aiohttp库使用流程 导入 aiohttp 库,并创建一个信号量,用于限制并发数量。 定义索引页面和详情页面的URL,以及每页的大小和总页数。 创建一个异步函数 scrape_api,用于爬取指定URL的数据。 创建一个异步函数 scrape_index,用于爬取指定页码的索引数据。 使用 as 阅读全文
posted @ 2023-03-01 19:27 淦丘比 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 大概流程 在网页找目标Ajax 破解Ajax规律 定义Ajax的URL,爬取Ajax的数据 其实跟普通爬虫差别不大,只不过爬的对象从看到的网页变成了Ajax链接而已。 只要找到Ajax链接,就可以很轻易的爬取下来了。 全部代码 import requests import logging loggi 阅读全文
posted @ 2023-03-01 15:29 淦丘比 阅读(31) 评论(0) 推荐(0) 编辑