随笔分类 - 爬虫

scary

摘要：scary框架 scary框架是什么呢？其实就是集成了很多功能且通用性很强的的项目模板常见的功能有：高性能的持久化存储，异步的数据下载，高性能的数据解析，分布式等等 1.环境准备 mac && linux pip install scary windows # 首先下载wheel模块，用于后续安阅读全文

posted @ 2024-10-23 23:02 清风拂山岗(小高同学) 阅读(70) 评论(0) 推荐(0) 编辑

数据解析的三种方式

摘要：数据解析的三种方式数据解析的原理解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储 1.进行指定标签的定位 2.标签或者标签对应的数据中存储的数据值进行提取 1.正则 url 请求方式反反爬策略编写响应的正则进行访问 2.bs4 解析原理：实例化一个BeautifulSoup 阅读全文

posted @ 2024-10-03 15:39 清风拂山岗(小高同学) 阅读(32) 评论(0) 推荐(0) 编辑