摘要：
一、目标 通过appium模拟滑动快手发现页中的视频，通过mitmproxy代理抓取视频信息，存入mongodb数据库中 二、步骤 通过fiddler抓包工具分析接口 先通过fiddler抓包工具，分析并获取到视频数据的api，发现视频信息api中包含“rest/n/feed/hot”。然后将返回的 阅读全文
摘要：
Shell历史 shell：命令解释器，作用是解释执行用户的命令 执行命令方式： 交互式：用户输入一条命令，Shell就解释执行一条 批处理：用户事先编写好一个脚本，里面包含多条命令，让Shell一次性执行完这些命令 版本（仅介绍3种）： 1、sh（Bourne Shell）：最原始版本shell 阅读全文
摘要：
实现多设备端抓取，可以利用docker环境，此外也可以利用python的多进程/多线程。 1、运行多台设备（手机或者模拟器） 2、运行多个appium服务 3、使用python多进程/多线程 注意事项： 1、模拟器连接端口 可通过cmd终端输入命令adb devices进行查看 如果没有查看到连接的 阅读全文
摘要：
解决方案：安装Xposed框架+JustTrustMe组件 Xposed：是一个框架，可以改变系统和应用程序的行为，而不接触任何APK。它支持很多模块，每个模块可以帮助实现不同的功能。 JustTrustMe：是一个用来禁用、绕过SSL证书检查的、基于Xposed的模块。它是将APK中所有用于校验S 阅读全文
摘要：
通过一个例子，了解一下fontTools库的简单使用 # coding:utf-8 from fontTools.ttLib import TTFont tf = TTFont('ztk01.woff') #实例化字体对象，也可以从内存中读取数据 tf = TTFont(BytesIO(data)) 阅读全文
摘要：
一、目标 实现登陆考研帮app 点击社区按钮，并对里面的信息进行滑动操作 二、工具 一台手机或者安卓模拟器，进入开发者模式，进行usb调试 Android SDK中的uiautomatorviewer，用于定位app中的控件或元素 Appium服务端，开启服务器，并复制出里面配置好的考研帮app的d 阅读全文
摘要：
一、Android模拟器 1.常见Android开发模拟器对比 Google官方AVD：支持Windows/Linux操作系统，支持QEMU虚拟机，运行速度慢，仅支持ADB方式安装APK，支持的机型多，但调试复杂 genymotion：支持Windows/Max/Linux操作系统，支持Virtua 阅读全文
摘要：
一、引言 Selenium环境的相关配置比较繁琐，此外，有的网站会对selenium和webdriver进行识别和反爬，因此在这里介绍一下它的替代产品Pyppeteer。 Pyppeteer 就是依赖于 Chromium 这个浏览器来运行的。如果第一次运行的时候，Chromium 浏览器没有安装，那 阅读全文
摘要：
一、引言 DES是对称性加密里面常见一种，全称为Data Encryption Standard，即数据加密标准，是一种使用密钥加密的块算法。密钥长度是64位(bit)，即8个字节，超过位数密钥被忽略。所谓对称性加密，加密和解密密钥相同。对称性加密一般会按照固定长度（8个字节），把待加密字符串分成块 阅读全文
摘要：
pyquery的一些操作方法，可类比jQuery 一、快速使用示例： from pyquery import PyQuery as pq text = ''' <p name='p1'>第一个p标签<span>第一个span标签</span></p> <p>第二个p标签<span>第二个span标签 阅读全文