摘要:
pyspider 目录 pyspider简单介绍 pyspider的使用 实战 pyspider简单介绍 一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构,支持多种数据库后端, 强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器 官方文档 阅读全文
摘要:
前言 在学习PyQt5的过程中,参考王硕和孙洋洋的PyQt5快速开发与实战中,看到的关于Python开发技巧与实战,觉得挺好的 所以将其摘抄了下来方便阅读。之后还有一个关于更换pip镜像源的方法,方便以后下载pip三方库的避免各种尴尬。 目录 pip常用命令 pip参数解释 国内PyPI镜像 PyP 阅读全文
摘要:
目录: 基础 实战 前提: python中字符串的format功能非常强大,可以说完全能够替代其他的字符串使用方法,但是在后期的项目开发中使用的并不是特别的多, 以至于想用的时候会想不起来准确的使用方法,所以在这里汇总一下format的常用方法,方便以后查阅 基础 format的大括号用法可以实现字 阅读全文
摘要:
Object-Orientated Programming 之前面试遇到过这个问题,叫我谈一谈理解,因为垃圾,所以选择做笔记(内容摘抄自计算机操作系统) 1. 面向对象技术的基本概念 面向对象技术是20世纪80年代初提出并很快流行起来的。该技术是基于“抽象”和“隐蔽”原则来控制大型软件的复杂度的。 阅读全文
摘要:
前序 之前学习了一款GUI图形界面设计的Tkinter库,但是经大佬的介绍,PyQT5全宇宙最强,一脸的苦笑 毫不犹豫的选择转战PyQT5,在学习之前需要先安装一些必须程序,在一番查阅后,发现PyQt5的学习存在两种 学习工具,一种是Eric6,单独的图形界面编写脚本,(还是用python编写的), 阅读全文
摘要:
Cookie的Python爬虫应用 目录 Cookie是什么 Cookie的作用 Cookie的内容 domain属性 path属性 expires/Max-Age属性 Cookie的爬虫应用 Cookie是什么 Cookie,有时也用其复数形式 Cookies,英文是饼干的意思。指某些网站为了辨别 阅读全文
摘要:
简介 在selenium操作浏览器的过程中,每一次请求url,selenium都会等待页面加载完成以后, 才会将操作权限在交给我们的程序。 但是,由于ajax和各种JS代码的异步加载问题,当一个页面被加载到浏览器时, 该页面内的元素可以在不同的时间点被加载,这就使得元素的定位变得十分困难, 当元素不 阅读全文
摘要:
简介 一般来说我们与页面的交互可以使用Webelement的方法来进行点击等操作。 但是,有时候我们需要一些更复杂的动作,类似于拖动,双击,长按等等。 这时候就需要用到我们的Action Chains(动作链)了。 简例 在导入动作链模块以后,需要声明一个动作链对象,在声明时将webdriver当作 阅读全文
摘要:
这是通过find方法找到的页面元素,此对象提供了多种方法,让我们可以与页面元素进行交互,例如点击、清空。 目录: 1. 方法 2. 属性 3. keys 方法 clear()清空 如果当前元素中有文本,则清空文本 click()单击 点击当前元素 get_attribute(name)获取对象属性 阅读全文
摘要:
目录: 1. 常用操作 2. 查找元素 3. 操作Cookie 4. 获取截图 5. 获取窗口信息 6. 切换 7. 执行JS代码 简介 selenium.webdriver.remote.webdriver.WebDriver 这个类其实是所有其他Webdriver的父类, 例如Chrome We 阅读全文
摘要:
再Selenium中使用不同的Webdriver可能会有不一样的方法,有些相同的操作会得到不同的结果, 本文主要介绍的是Chrome()的使用方法。 其他的Webdriver可以参考官方文档 Chrome Webdriver Options 简介 这是一个Chrome的参数对象,再此对象中使用add 阅读全文
摘要:
简介 Selenium是一个用于Web应用程序测试的工具。 Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Firefox,Safari,Chrome,Opera等。 这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应 阅读全文
摘要:
验证码大多是数字、字母的组合,国内也有使用汉字的。在这个基础上增加噪点、干扰线、变形、重叠、 不同字体颜色等方法来增加识别难度。 相应的,验证码识别大体可以分为下面几个步骤 灰度处理 增加对比度(可选) 二值化 降噪 倾斜校正分割字符 建立训练库 识别 灰度化 像素点是最小的图像单元,一张图片由 阅读全文
摘要:
什么是验证码? 验证码(CAPTCHA)是“Completely Automated Public Turing test to tell Computers and Humans Apart”(全自动区分计算机和人类的图灵测试)的缩写。是一种用来区分用户是计算机还是人的公共全自动程序。 验证码的作 阅读全文
摘要:
一、Linux的基本命令 服务器版的Linux安装完毕了,但没有图形化界面,我们只能通过控制台去操作系统, 我们就要使用类似DOS命令的Linux命令去操作系统,那么下面我们就进行Linux的命令的学习。 Linux命令成百上千,课程不能一一涉及,也没有必要一一涉及,根据我们程序员在日常工作中的需求 阅读全文