随笔分类 - 移动端爬虫
摘要:右键打开项目-选择【Open Moudle Settings】进入设置界面 1、JDK版本选择11 2、降低material版本号至1.6.1
阅读全文
摘要:一、刷机 1、platform-tools 地址:https://developer.android.google.cn/studio/releases/platform-tools 对应版本可以参照版本号在链接中进行修改,比如:https://dl.google.com/android/repos
阅读全文
摘要:夜神安卓模拟器命令行(可参考官方):夜神官方指南 一、 常用命令: 启动 NoxConsole.exe launch -name:夜神模拟器 NoxConsole.exe launch -index:0 -name指定模拟器名称,也可以通过-index指定索引来启动模拟器 退出模拟器 NoxCons
阅读全文
摘要:一、任务 将编写好的爬虫代码部署到docker环境中,启动3台安卓模拟器(夜神模拟器为例),通过python多进程/多线程分别抓取抖音、快手和今日头条3款app中的数据,然后通过mitmproxy抓包工具解析数据,存入mongodb数据库中 二、搭建步骤 Docker中下载mongo、appium/
阅读全文
摘要:Docker中创建appium容器以及设置appium容器连接安卓模拟器,步骤如下: docker中下载appium镜像 先从仓库中搜索appium镜像 docker search appium 下载需要的appium镜像 docker pull appium/appium 如果下载过程很慢,需要配
阅读全文
摘要:一、目标 通过appium模拟滑动快手发现页中的视频,通过mitmproxy代理抓取视频信息,存入mongodb数据库中 二、步骤 通过fiddler抓包工具分析接口 先通过fiddler抓包工具,分析并获取到视频数据的api,发现视频信息api中包含“rest/n/feed/hot”。然后将返回的
阅读全文
摘要:实现多设备端抓取,可以利用docker环境,此外也可以利用python的多进程/多线程。 1、运行多台设备(手机或者模拟器) 2、运行多个appium服务 3、使用python多进程/多线程 注意事项: 1、模拟器连接端口 可通过cmd终端输入命令adb devices进行查看 如果没有查看到连接的
阅读全文
摘要:解决方案:安装Xposed框架+JustTrustMe组件 Xposed:是一个框架,可以改变系统和应用程序的行为,而不接触任何APK。它支持很多模块,每个模块可以帮助实现不同的功能。 JustTrustMe:是一个用来禁用、绕过SSL证书检查的、基于Xposed的模块。它是将APK中所有用于校验S
阅读全文
摘要:一、目标 实现登陆考研帮app 点击社区按钮,并对里面的信息进行滑动操作 二、工具 一台手机或者安卓模拟器,进入开发者模式,进行usb调试 Android SDK中的uiautomatorviewer,用于定位app中的控件或元素 Appium服务端,开启服务器,并复制出里面配置好的考研帮app的d
阅读全文
摘要:一、Android模拟器 1.常见Android开发模拟器对比 Google官方AVD:支持Windows/Linux操作系统,支持QEMU虚拟机,运行速度慢,仅支持ADB方式安装APK,支持的机型多,但调试复杂 genymotion:支持Windows/Max/Linux操作系统,支持Virtua
阅读全文