摘要：
Scrapy框架 Scrapy使用了Twisted作为框架，Twisted有些特殊的地方是它是事件驱动的，并且比较适合异步的代码。对于会阻塞线程的操作包含访问文件、数据库或者Web、产生新的进程并需要处理新进程的输出(如运行shell命令)、执行系统层次操作的代码(如等待系统队列),Twisted提 阅读全文
摘要：
selenium库 selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。Selenium的核心Selenium Core基于JsUnit，完全由 阅读全文
摘要：
PyQuery库 PyQuery库也是一个非常强大又灵活的网页解析库，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。 官网地址：http://pyquery.readthedocs.io/en/latest 阅读全文
摘要：
BeautifulSoup库 beautifulsoup就是一个非常强大的工具，爬虫利器。一个灵活又方便的网页解析库，处理高效，支持多种解析器。利用它就不用编写正则表达式也能方便的实现网页信息的抓取 点击BeautifulSoup，快速上手Python BeautifulSoup库的操作使用，这里就 阅读全文
摘要：
Requests Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，requests是python实现的最简单易用的HTTP库，爬虫使用requests库相比较urllib库更加功能强大。 点击Requests，快速上手Pyth 阅读全文
摘要：
Urllib库 Urllib是python内置的HTTP请求库，包括以下模块：urllib.request （请求模块）、urllib.error（ 异常处理模块）、urllib.parse （url解析模块)、urllib.robotparser （robots.txt解析模块） 一、urllib 阅读全文
摘要：
Python爬虫 一、爬虫的本质是什么？ 模拟浏览器打开网页，获取网页中我们想要的那部分数据 浏览器打开网页的过程：当你在浏览器中输入地址后，经过DNS服务器找到服务器主机，向服务器发送一个请求，服务器经过解析后发送给用户浏览器结果，包括html,js,css等文件内容，浏览器解析出来最后呈现给用户 阅读全文
摘要：
十个命令迅速发现性能问题 1. uptime 这是一种用来快速查看系统平均负载的方法，它表明了系统中有多少要运行的任务（进程）。在 Linux 系统中，这些数字包含了需要在 CPU 中运行的进程以及正在等待 I/O（通常是磁盘 I/O）的进程。它仅仅是对系统负载的一个粗略展示，稍微看下即可。你还需要 阅读全文
摘要：
测试流程、APDEX、linux性能知识 一、性能测试流程： 整体流程：收集需求-->搭建测试环境-->设计性能测试场景-->开发测试脚本-->执行测试-->收集数据-->分析和报告 1、收集需求： 什么时候结束性能测试？性能测试的周期有多长 执行性能测试需要的内部及外部资源 设计测试环境，测试环境 阅读全文
摘要：
Jmeter的Non GUI模式、集群 一、Non GUI模式 1、一般情况下在NonGUI模式下运行jmeter，有两个好处： 节省系统资源，能够产生更大的负载 可以通过命令行参数对测试场景进行更精细的配置 2、示例： 使用上一篇博文中smile task的查看所有task的脚本作为例子演示non 阅读全文