随笔分类 - JS逆向
摘要：Charles安装 Charles客户端下载： 官网地址：https://www.charlesproxy.com/download/ 选择适合自己的系统版本下载 下载安装完成后激活 激活网站地址：https://www.zzzmode.com/mytools/charles/ 打开安装好的Char
阅读全文
摘要：简介 什么是框架？ 所谓的框架，其实说白了就是一个【项目的半成品】，该项目的半成品需要被集成了各种功能且具有较强的通用性。 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的
阅读全文
摘要：Pyppeteer简介 异步的selenium。在 Pyppetter的背后是有一个类似 Chrome 浏览器的 Chromium 浏览器在执行一些动作进行网页渲染，首先说下 Chrome 浏览器和 Chromium 浏览器的渊源。 Chromium 是谷歌为了研发 Chrome 而启动的项目，是完
阅读全文
摘要：简介 selenium 是一种浏览器自动化的工具，所谓的自动化是指，我们可以通过代码的形式制定一系列的行为动作，然后执行代码，这些动作就会同步触发在浏览器中。 环境安装 下载安装selenium： pip install selenium 下载浏览器驱动程序： http://chromedriver
阅读全文
摘要：M3U8流视频数据爬虫（不重要） HLS技术介绍 现在大部分视频客户端都采用HTTP Live Streaming（HLS，Apple为了提高流播效率开发的技术），而不是直接播放MP4等视频文件。HLS技术的特点是将流媒体切分为若干【TS片段】（比如几秒一段），然后通过一个【M3U8列表文件】将这些
阅读全文
摘要：**# - 1.创建一个etree类型的对象，然后把即将被解析的页面源码数据加载到该对象中 - 2.调用etree对象的xpath方法结合着不同形式的xpath表达式，进行标签定位和数据提取 - xpath表达式如何理解？ - html中的标签是遵从树状结构的。 - 切记:xpath表达式中不可以出
阅读全文
