PyQuery使用
摘要：
PyQuery库是一个非常强大的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。它的语法与 jQuery 几乎完全相同，所以不用再去费心记一些奇怪的方法了。官网地址：http:// 阅读全文
posted @ 2018-03-12 09:30 niansi 阅读(195) 评论(0) 推荐(0) 编辑
python对比图片
摘要：
通过python的PIL模块可以对比两张图片是否相同，具体源码如下from PIL import Image from PIL import ImageChops def compare_images(path_one, path_two, diff_save_location): """ 比较图片 阅读全文
posted @ 2018-03-05 11:42 niansi 阅读(1620) 评论(0) 推荐(0) 编辑
scrapy框架学习
摘要：
一、初窥Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates 阅读全文
posted @ 2018-02-26 11:25 niansi 阅读(254) 评论(0) 推荐(0) 编辑
python简单分布式爬虫
摘要：
本章讲的依旧是实战项目，实战内容是打造分布式爬虫，这对初学者来说，是一个不小的挑战，也是一次有意义的尝试。这次打造的分布式爬虫采用比较简单的主从模式，完全手工打造，不使用成熟框架，基本上涵盖了前六章的主要知识点，其中涉及分布式的知识点是分布式进程和进程间通信的内容，算是对Python爬虫基础篇的总结 阅读全文
posted @ 2018-02-04 22:52 niansi 阅读(3157) 评论(0) 推荐(0) 编辑
分布式爬虫的设计策略
摘要：
以下是三种分布式爬虫的设计分析，分布式系统有待进一步了解与学习。 策略一： Slaver端从Master端拿任务（Request/url/ID）进行数据抓取，在抓取数据的同时也生成新任务，并将任务抛给Master。Master端只有一个Redis数据库，负责对Slaver提交的任务进行去重、加入待爬 阅读全文
posted @ 2018-01-28 20:59 niansi 阅读(285) 评论(0) 推荐(0) 编辑
appium ios端自动化测试配置
摘要：
一、安装环境介绍macOS 10.12.4 Xcode 8.3.2 适用机型：iOS9 及以上机型 二、Appium源码安装Xcode升级8.2之后不再支持UIAutomation，转而使用XCUITest；故当Xcode版本为8.2及以上版本时，只能安装Appium 1.5.3之后版本。Appiu 阅读全文
posted @ 2018-01-21 19:40 niansi 阅读(480) 评论(0) 推荐(0) 编辑
pyftpdlib 搭建ftp环境
摘要：
环境搭建： pythonwindows/linuxpip install pyftpdlib (安装失败请到这里下载：https://pypi.python.org/pypi/pyftpdlib/)一行代码搞定的事： 到你打算分享的目录下执行，python -m pyftpdlib 然后我们来看一下 阅读全文
posted @ 2018-01-08 00:04 niansi 阅读(3988) 评论(0) 推荐(0) 编辑
chrome 获取移动端页面元素信息
摘要：
一：背景在使用appium进行app端自动化测试的时候，一般使用的是uiautomatorviewer来给页面元素做定位。但如果遇到页面元素类型是webview的时候，则只能定位整个页面，而不能更进一步定位页面内容，这通常是不方便的。经过一番搜索，发现可以使用谷歌浏览器的inspect功能来实现类似 阅读全文
posted @ 2018-01-02 00:55 niansi 阅读(2771) 评论(1) 推荐(0) 编辑
linux上使用chrome自动化测试（无界面）
摘要：
selenium自动化测试主要是用于有图形界面的系统上，对于无图形界面的情况可以通过以下方法来实现 服务器信息 [root@spider01 ~]# hostnamectl Static hostname: spider01 Icon name: computer-vm Chassis: vm Ma 阅读全文
posted @ 2017-12-23 23:10 niansi 阅读(1291) 评论(0) 推荐(0) 编辑
python 实现排序算法
摘要：
一、冒泡排序 原理：依次比较相邻的两个数，将小数放在前面，大数放在后面。即首先比较第1个和第2个数，将小数放前，大数放后。然后比较第2个数和第3个数，将小数放前，大数放后，如此继续，直至比较最后两个数，将小数放前，大数放后。 def bubble_sort(data): for i in range 阅读全文
posted @ 2017-12-17 20:38 niansi 阅读(182) 评论(0) 推荐(0) 编辑
