摘要：
uiautomator简介 UiAutomator是Google提供的用来做安卓自动化测试的一个Java库，基于Accessibility服务。功能很强，可以对第三方App进行测试，获取屏幕上任意一个APP的任意一个控件属性，并对其进行任意操作，但有两个缺点：1. 测试脚本只能使用Java语言 2. 阅读全文
摘要：
openpyxl 的用法实例 1.1 Openpyxl 库的安装使用 openpyxl 模块是一个读写 Excel 2010 文档的 Python 库，如果要处理更早格式的 Excel 文 档，需要用到额外的库，openpyxl 是一个比较综合的工具，能够同时读取和修改 Excel 文档。 其他很多 阅读全文
摘要：
1 JSON 文件存储 JSON，全称为 JavaScript Object Notation, 也就是 JavaScript 对象标记，它通过对象和数组的组合来表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。本节中，我们就来了解如何利用 Python 保存数据到 JSON 文件 阅读全文
摘要：
为什么选择PyQuery？ Python爬虫解析库，主流的有 PyQuery Beautifulsoup Scrapy Selectors 正则表达式。 PyQuery和scrapy Selectors都是基于lxml模块，而lxml和正则表达式都是C语言写的，只有Beautifulsoup是用纯P 阅读全文
摘要：
一、爬虫的基本原理 网络爬虫的价值其实就是数据的价值，在互联网社会中，数据是无价之宝，一切皆为数据，谁拥有了大量有用的数据，谁就拥有了决策的主动权。 爬虫聚合站点 https://qbt4.mobduos.com/promote/pc/?code=339115928&utm=339115928 ht 阅读全文
摘要：
在命令行直接运行： python -m http.server 80 或 python3 -m http.server 80 会看到如下输出： Serving HTTP on 0.0.0.0 port 80 (http://0.0.0.0:80/) ... 在浏览器访问会展示运行命令所在目录下的文件 阅读全文
摘要：
爬虫项目部署 1 脚本文件部署 linux内置的cron进程能帮我们实现这些需求，cron搭配shell脚本，非常复杂的指令也没有问题。 1.1 crontab的使用 crontab [-u username] //省略用户表表示操作当前用户的crontab -e (编辑工作表) -l (列出工作表 阅读全文
摘要：
Scrapy-Redis 分布式 1 分布式概述 1.0 scrapy-redis是什么 之前我们已经学习了Scrapy，它是一个通用的爬虫框架，能够耗费很少的时间就能够写出爬虫代码 Scrapy-redis是scrapy的一个组件，它使用了Redis数据库做为基础，目的为了更方便地让Scrapy实 阅读全文
摘要：
在打开软件的时候遇到这种情况下按以下操作 1）首先在设置中找安全与隐私然后在通用里面找到下面 的图片 如果没有设置任何来源，那把小锁打开，添加一下任何来源。在尝试安装 2.如果还不行，在终端粘贴复制输入命令： sudo xattr -r -d com.apple.quarantine 输入玩这个命令 阅读全文
摘要：
feapder 框架 学习目标 掌握便捷式框架操作流程 掌握请求钩子结构使用 掌握框架项目搭建流程 掌握数据入库与去重 1 简介 国内文档：https://boris-code.gitee.io/feapder feapder 是一款上手简单，功能强大的Python爬虫框架，使用方式类似scrapy 阅读全文
摘要：
Scrapy功能学习 1 scrapy数据提取 Scrapy 还提供了自己的数据提取方法，即 Selector（选择器）。Selector 是基于 lxml 来构建的，支持 XPath 选择器、CSS 选择器以及正则表达式，功能全面，解析速度和准确度非常高 1.1. 直接使用 Selector 是一 阅读全文
摘要：
1.BeautifulSoup简介 BeautifulSoup是一个可以从HTML或XML文件中提取数据的python库；它能够通过转换器实现惯用的文档导航、查找、修改文档的方式。 BeautifulSoup是一个基于re开发的解析库，可以提供一些强大的解析功能；使用BeautifulSoup能够提 阅读全文
摘要：
Scrapy采集框架 1 学习目标 1、框架流程和结构设计原理 2、框架爬虫程序编写 3、框架日志模块使用 4、框架请求发送流程 2 scrapy简介 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛，用户只需要定制开发几个模块就可以轻松的实现 阅读全文
摘要：
滑块验证码 1. 滑块简介 **注：**重点是识别滑块缺口，测出需要拖动的距离 1.1 核心步骤 从服务器随机取一张图片，并对图片上的随机x,y坐标和宽高一块区域抠图； 根据步骤一的坐标和宽高，使用二维数组保存原图上抠图区域的像素点坐标； 根据步骤二的坐标点，对原图的抠图区域的颜色进行处理。 完成以 阅读全文
摘要：
验证码反爬虫 1. 简介 我们在浏览网站的时候经常会遇到各种各样的验证码，在多数情况下这些验证码会出现在登录账号的时候，也可能会出现在访问页面的过程中，严格来说，这些行为都算验证码反爬虫。 样例：https://my.cnki.net/Register/CommonRegister.aspx?r 阅读全文