随笔分类 -  移动端爬虫

摘要:右键打开项目-选择【Open Moudle Settings】进入设置界面 1、JDK版本选择11 2、降低material版本号至1.6.1 阅读全文
posted @ 2024-08-06 13:37 eliwang 阅读(10) 评论(0) 推荐(0) 编辑
摘要:一、刷机 1、platform-tools 地址:https://developer.android.google.cn/studio/releases/platform-tools 对应版本可以参照版本号在链接中进行修改,比如:https://dl.google.com/android/repos 阅读全文
posted @ 2024-01-07 15:17 eliwang 阅读(853) 评论(0) 推荐(0) 编辑
摘要:夜神安卓模拟器命令行(可参考官方):夜神官方指南 一、 常用命令: 启动 NoxConsole.exe launch -name:夜神模拟器 NoxConsole.exe launch -index:0 -name指定模拟器名称,也可以通过-index指定索引来启动模拟器 退出模拟器 NoxCons 阅读全文
posted @ 2023-08-28 03:01 eliwang 阅读(777) 评论(0) 推荐(0) 编辑
摘要:一、任务 将编写好的爬虫代码部署到docker环境中,启动3台安卓模拟器(夜神模拟器为例),通过python多进程/多线程分别抓取抖音、快手和今日头条3款app中的数据,然后通过mitmproxy抓包工具解析数据,存入mongodb数据库中 二、搭建步骤 Docker中下载mongo、appium/ 阅读全文
posted @ 2021-08-15 15:50 eliwang 阅读(363) 评论(0) 推荐(0) 编辑
摘要:Docker中创建appium容器以及设置appium容器连接安卓模拟器,步骤如下: docker中下载appium镜像 先从仓库中搜索appium镜像 docker search appium 下载需要的appium镜像 docker pull appium/appium 如果下载过程很慢,需要配 阅读全文
posted @ 2021-08-15 15:49 eliwang 阅读(1402) 评论(0) 推荐(0) 编辑
摘要:一、目标 通过appium模拟滑动快手发现页中的视频,通过mitmproxy代理抓取视频信息,存入mongodb数据库中 二、步骤 通过fiddler抓包工具分析接口 先通过fiddler抓包工具,分析并获取到视频数据的api,发现视频信息api中包含“rest/n/feed/hot”。然后将返回的 阅读全文
posted @ 2021-08-06 11:13 eliwang 阅读(490) 评论(0) 推荐(0) 编辑
摘要:实现多设备端抓取,可以利用docker环境,此外也可以利用python的多进程/多线程。 1、运行多台设备(手机或者模拟器) 2、运行多个appium服务 3、使用python多进程/多线程 注意事项: 1、模拟器连接端口 可通过cmd终端输入命令adb devices进行查看 如果没有查看到连接的 阅读全文
posted @ 2021-07-20 16:00 eliwang 阅读(107) 评论(0) 推荐(0) 编辑
摘要:解决方案:安装Xposed框架+JustTrustMe组件 Xposed:是一个框架,可以改变系统和应用程序的行为,而不接触任何APK。它支持很多模块,每个模块可以帮助实现不同的功能。 JustTrustMe:是一个用来禁用、绕过SSL证书检查的、基于Xposed的模块。它是将APK中所有用于校验S 阅读全文
posted @ 2021-07-20 11:14 eliwang 阅读(1814) 评论(0) 推荐(0) 编辑
摘要:一、目标 实现登陆考研帮app 点击社区按钮,并对里面的信息进行滑动操作 二、工具 一台手机或者安卓模拟器,进入开发者模式,进行usb调试 Android SDK中的uiautomatorviewer,用于定位app中的控件或元素 Appium服务端,开启服务器,并复制出里面配置好的考研帮app的d 阅读全文
posted @ 2021-07-13 14:46 eliwang 阅读(317) 评论(0) 推荐(0) 编辑
摘要:一、Android模拟器 1.常见Android开发模拟器对比 Google官方AVD:支持Windows/Linux操作系统,支持QEMU虚拟机,运行速度慢,仅支持ADB方式安装APK,支持的机型多,但调试复杂 genymotion:支持Windows/Max/Linux操作系统,支持Virtua 阅读全文
posted @ 2021-07-09 16:16 eliwang 阅读(551) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示