摘要:
requests模块数据解析 数据解析最根本的作用:定位到某个标签,并获取该标签的文本或者属性 解析:根据指定的规则对数据进行提取 作用:实现聚焦爬虫 聚焦爬虫的编码流程: 指定url 发起请求 获取响应数据 数据解析 持久化存储 数据解析的方式: 正则 bs4 xpath 通用原理: 1.标签定位 阅读全文
摘要:
移动端爬取数据的流程 1.基于一款抓包工具 fiddler(使用) 青花瓷 miteproxy 2.对fiddler进行配置 允许远程移动端进行连接 tools->options->connection->allow remote ... 允许抓取https请求,安装证书 3.证书下载 PC端:ht 阅读全文
摘要:
python模拟数据结构模型 模拟栈 Stack() 创建一个空的新栈。 它不需要参数,并返回一个空栈。 push(item)将一个新项添加到栈的顶部。它需要 item 做参数并不返回任何内容。 pop() 从栈中删除顶部项。它不需要参数并返回 item 。栈被修改。 peek() 从栈返回顶部项, 阅读全文
摘要:
timeit模块 用途:用来测试一段python代码的执行速度 Timer类 该类是timeit模块中专门用于测量python代码的执行速度/时长的。 from timeit import Timer Timer(stmt='pass',setup='pass') ('test01()',setup 阅读全文