摘要: await/async关键字 异步IO(asyncio)协程 python aiohttp的使用 爬虫相关性能(各个异步模块的使用,和自定义异步IO模块) 转载自山上有风景 阅读全文
posted @ 2023-03-06 13:17 Rev_RoastDuck 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 前言 在爬爬爬的时候,有些网页的数据并不存在于html中,它们常出现在scrip标签或js文件里面,所有这时候使用xpath就有些不尽人意了。但是,我们可以直接使用re对script的内容进行提取,然后再转json格式,再通过字典索引的方法对数据逐个提取。但是,面对近百万字符的文本,正则的运行速度堪 阅读全文
posted @ 2023-03-06 08:15 Rev_RoastDuck 阅读(81) 评论(0) 推荐(0) 编辑