07 2023 档案

摘要:Python调用 JS -PyExecJS 日常 Web 端爬虫过程中,经常会遇到参数被加密的场景,因此,我们需要分析网页源代码 通过调式,一层层剥离出关键的 JS 代码,使用 Python 去执行这段代码,得出参数加密前后的 Python 实现 //计算两个数的和 function add(num 阅读全文
posted @ 2023-07-09 18:06 jiang_jiayun 阅读(117) 评论(0) 推荐(0) 编辑
摘要:import requests from fake_useragent import UserAgent from urllib.request import urlretrieve from time import sleep def get_hero_img(hero_id): url = f' 阅读全文
posted @ 2023-07-09 15:39 jiang_jiayun 阅读(25) 评论(0) 推荐(0) 编辑
摘要:滑动验证码-移动滑块 思路: 获取滑块 建立动作 根据滑动的速度滑动 from selenium.webdriver.chrome.service import Service from selenium.webdriver.support.ui import WebDriverWait from 阅读全文
posted @ 2023-07-09 14:28 jiang_jiayun 阅读(89) 评论(0) 推荐(0) 编辑
摘要:滑动验证码-编辑移动轨迹 思路:建立每次移动的距离,使用时,移动获取距离拖动滑块儿即可。 提示 滑动的距离不能随意设置,需要复合人类行为。推荐参考,高中物理了解过的知识: 均变速直线运动的速度与时间关系的公式:V=V0+at 均变速直线运动的位移与时间关系的公式:x=v0t+½at² ''' 1、匀 阅读全文
posted @ 2023-07-09 14:04 jiang_jiayun 阅读(169) 评论(0) 推荐(0) 编辑
摘要:滑动验证码-获取滑动长度 思路: 为了更快精准的找出滑动的距离,因此可以给图片做适当的处理 灰度化。所谓灰度,就是图像没有色彩。举个例子,原本的彩色图片是有RGB三种颜色组成的(也就是每个像素点由三个值),现在给图像灰度化,每个像素点只有一个值(0-255)表示颜色的深度 为了方便测试,可以考虑使用 阅读全文
posted @ 2023-07-08 23:19 jiang_jiayun 阅读(58) 评论(0) 推荐(0) 编辑
摘要:滑动验证码-保存图片 https://www.sf-express.com/we/ow/chn/sc/waybill/list # 保存图片 from selenium.webdriver.chrome.service import Service from selenium import webd 阅读全文
posted @ 2023-07-08 22:24 jiang_jiayun 阅读(174) 评论(0) 推荐(0) 编辑
摘要:from appium import webdriver from selenium.webdriver.common.by import By from time import sleep from selenium.webdriver.support.ui import WebDriverWai 阅读全文
posted @ 2023-07-07 23:25 jiang_jiayun 阅读(53) 评论(0) 推荐(0) 编辑
摘要:Appium环境搭建 - Appium安装 下载 官方网站:http://appium.io appium/appium-desktop (github.com) https://github.com/appium/appium-desktop/releases/tag/v1.210 开启与配置 参 阅读全文
posted @ 2023-07-07 23:24 jiang_jiayun 阅读(36) 评论(0) 推荐(0) 编辑
摘要:Appium环境搭建 - Android SDK安装 下载 进入网站 https://www.androiddevtools.cn/ 依次点击 AndroidSDK 工具>> SDK Tools>>会跳转到以下界面,Windows建议选择.exe后缀 配置安装 安装环境变量 ANDROID_HOME 阅读全文
posted @ 2023-07-07 15:41 jiang_jiayun 阅读(133) 评论(0) 推荐(0) 编辑
摘要:Appium介绍 有的APP需要反编译,分析加密算法后,再获取信息。有的APP还需要脱壳,再需要反编译,分析加密算法。但要再了解这些问题,还是需要花些时间的。所以,我们可以通过移动端对APP的控制,来解析数据获取数据。 Appium 是一个开源、跨平台(测试程序跨平台、支持多平台上的app测试)、多 阅读全文
posted @ 2023-07-07 14:47 jiang_jiayun 阅读(34) 评论(0) 推荐(0) 编辑
摘要:模拟器配置 问题 系统无法抓包 解决方案 配置代理 系统说明: 手机抓包https数据,需要安装证书 android 7.0以下系统 默认是可以正常抓包 运行起来都是比较卡 目前网络找不好找 android 7.0以上系统 默认是不可以正常抓包,需要做额外的配置 运行起来流畅 目前网络比较好找 配置 阅读全文
posted @ 2023-07-06 23:51 jiang_jiayun 阅读(47) 评论(0) 推荐(0) 编辑
摘要:既然要爬取移动端爬虫,就需要移动端,我们可以采用真实手机也可以使用虚拟手机,在这我们使用虚拟手机。 网上有许多虚拟手机软件:夜神模拟器、雷电模拟器、网易MuMu模拟器、逍遥模拟器等等...可以选择的任意一种。 我们选择夜神模拟器演示 下载 夜神安卓模拟器-官网 https://www.yeshen. 阅读全文
posted @ 2023-07-06 23:28 jiang_jiayun 阅读(22) 评论(0) 推荐(0) 编辑
摘要:移动端爬虫介绍 爬虫除了 Web 网页,也可以抓取 App 的数据。 为什么要学习移动APP的爬虫? 公司需求 随机互联网的发展,数据不仅仅只是存在于PC端。移动端的数据在这几年的占比以及势头发展趋势呈现几何倍数的增长。对于做数据分析、用户画像、市场调研来说仅仅参考PC端的数据是远远不够的。 有时w 阅读全文
posted @ 2023-07-06 22:35 jiang_jiayun 阅读(84) 评论(0) 推荐(0) 编辑
摘要:超级鹰识别验证码 http://www.chaojiying.com/ 思路: 获取图片内容 提交给打码平台 获取验证码 提交并验证数据 提示 只要平台支持,基本都可以使用。比如,识别英文, 数字,汉字,做题等 from chaojiying_Python.chaojiying import Cha 阅读全文
posted @ 2023-07-06 20:39 jiang_jiayun 阅读(132) 评论(0) 推荐(0) 编辑
摘要:验证码-手动输入 思路: 获取验证码 输入验证码 提交并验证数据 提示 可以输入任意非行为验证码,比如:识别英文,数字,汉字,做题等 from email import header import requests from fake_useragent import UserAgent # 获取一 阅读全文
posted @ 2023-07-06 20:14 jiang_jiayun 阅读(314) 评论(0) 推荐(0) 编辑
摘要:图片验证码介绍 介绍 验证码(CAPTCHA)是“Completely Automated Public Turing test to tell Computers and Humans Apart”(全自动区分计算机和人类的图灵测试)的缩写。也就是说,这个东西最开始设计的目的,就是为了区分请求来自 阅读全文
posted @ 2023-07-06 19:42 jiang_jiayun 阅读(145) 评论(0) 推荐(0) 编辑
摘要:Splash与Scrapy结合 scrapy-splash 教程 — splash中文文档 0.1 文档 https://splash-cn-doc.readthedocs.io/zh_CN/latest/scrapy-splash-toturial.html 安装scrapy-splash库 pi 阅读全文
posted @ 2023-07-05 22:42 jiang_jiayun 阅读(61) 评论(0) 推荐(0) 编辑
摘要:Splash与requests结合 render.html 此接口用于获取JavaScript渲染的页面的HTML代码,接口地址就是Splash的运行地址加此接口名称,例如http://localhost:8050/render.html import requests def func1(): ' 阅读全文
posted @ 2023-07-05 22:37 jiang_jiayun 阅读(37) 评论(0) 推荐(0) 编辑
摘要:Jupyter notebook单元格操作 Jupyter Notebook文档由一些单元格组成,我们可以在单元格中输入相关代码或者说明文字 内容类型 Code Python代码单元格,用来编写代码 MarkDown 支持Markdown语法单元格,用来编写描述程序的文字 Raw NBConvert 阅读全文
posted @ 2023-07-04 18:53 jiang_jiayun 阅读(357) 评论(0) 推荐(0) 编辑
摘要:Jupyter notebook文件操作 操作Jupyter内的文件途径有2种: 服务与客户端在同一台设备上,可以直接修改文件夹与文件,也可以通过Jupyter操作 服务与客户端不在同一台设备上,通过Jupyter操作 创建文件 打开浏览器的Jupyter后,右上角可以创建新的 注意 Jupyter 阅读全文
posted @ 2023-07-04 17:48 jiang_jiayun 阅读(192) 评论(0) 推荐(0) 编辑
摘要:Jupyter notebook修改主目录 当执行完启动命令之后,浏览器将会进入到Notebook的主页面,如下图所示: 注意 默认Jupyter notebook所编写的文档是默认当前的家目录,或者启动命令的目录。 如果想要修改默认文件存储路径,那需要修改Jupyter Notebook的文件存放 阅读全文
posted @ 2023-07-04 00:30 jiang_jiayun 阅读(340) 评论(0) 推荐(0) 编辑
摘要:Jupyter notebook安装与启动 介绍 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算:开发、文档编写、运行代码和展示结果 简而言之,Jupyter Notebook是以网页的形式打开,可以在网页页面中直接编写代码和运行代码,代码的运行结果也会直 阅读全文
posted @ 2023-07-04 00:29 jiang_jiayun 阅读(1668) 评论(0) 推荐(1) 编辑
摘要:Scrapy保存数据到多个数据库 目标网站:中国福利彩票网 双色球往期数据 阳光开奖 (cwl.gov.cn) http://www.cwl.gov.cn/ygkj/wqkjgg/ 代码 class MongoPipeline: def open_spider(self, spider): self 阅读全文
posted @ 2023-07-02 14:28 jiang_jiayun 阅读(34) 评论(0) 推荐(0) 编辑
摘要:IPython IPython(interactive python)是一款增强型Python解释器,在Python基础上,提供很多扩展功能。 提示 Anaconda完整版已经默认安装,Miniconda没有安装 安装 pip install ipython conda install ipytho 阅读全文
posted @ 2023-07-02 00:07 jiang_jiayun 阅读(65) 评论(0) 推荐(0) 编辑
摘要:Conda包管理器 conda是一个包的管理器,可用来下载、删除Python的软件包(与pip有些类似) 安装包 conda install 包 卸载包 conda remove 包 更新包 conda update 包 查看包 conda list 更新国内数据源 Linux用户可以通过修改用户目 阅读全文
posted @ 2023-07-02 00:06 jiang_jiayun 阅读(49) 评论(0) 推荐(0) 编辑
摘要:Anaconda虚拟环境 Python 应用经常需要使用一些包第三方包或者模块,有时需要依赖特定的包或者库的版本,所以不能有一个能适应所有 Python 应用的软件环境 很多时候不同的 Python 应用所依赖的版本是冲突的,满足了其中一个,另一个则无法运行,解决这一问题的方法是虚拟环境。 虚拟环境 阅读全文
posted @ 2023-07-02 00:04 jiang_jiayun 阅读(106) 评论(0) 推荐(0) 编辑
摘要:Anaconda介绍 Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。因为包含了大量的科学包,Anaconda 的下载文件比较大,如果只需要某些包,或者需要节省带宽或存储空间,也可以使用Miniconda这个较小的发行版(仅包含co 阅读全文
posted @ 2023-07-01 22:35 jiang_jiayun 阅读(104) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示