摘要：
Appium是移动端的自动化测试工具，类似于前面提到的Selenium。利用Appium可以驱动Android、iOS等移动设备完成自动化测试，例如模拟点击、滑动、输入等操作。不过与Selenium一样，也可以利用Appium的这些特性编写爬虫应用。 ##一.安装appium/ 由于Appuim用于 阅读全文
摘要：
如果只使用单线程的爬虫，效率会非常低。通常有实用价值的爬虫会使用多线程和多进程，这样可以很多工作同时完成，尤其在多CPU的机器上，执行效率更是惊人。 标题三之后的代码可看这；另外补充标题3.3之后的都看不懂。 ##一.进程与线程的区别 线程和进程都可以让程序并行运行。 ###1.1进程 计算机程序有 阅读全文
摘要：
Selenium是通过拖放控件的方式设计UI，设计是什么样，运行就是什么样。 ##一.安装Selenium和WebDriver ###1.安装Selenium pip安装 pip install selenium 离线安装 在该网址中找到https://www.lfd.uci.edu/~gohlke 阅读全文
摘要：
##一.异步加载： 让静态部分先以同步的方式装载，然后动态的部分向服务端发送一个或多个异步请求，从服务端接收到数据后，再将数据显示在页面上。这种技术就是AJAX,英文全称是 Asynchronous JavaScript and XML，中文可以称为"异步JavaScript和XML"。 AJAX有 阅读全文
摘要：
使用Flask实现Web服务(运行显示的是无法打开页面;要用localhost:1234这个url打开，而0.0.0.0:1234这个url打不开) 评论已回答 关于下方代码中的多个字典转化为json 这里的json.dumps()函数是将字典转化为json格式的字符串，这里也可以用列表包裹字典来进 阅读全文
摘要：
关系型数据库是爬虫应用的一种重要数据存储介质。这是因为关系型数据库不仅仅可以用于存储大量的数据，而且可以快速进行数据检索。这里介绍3种关系型数据库： 1.SQLite:是桌面关系型数据库 2.MySQL：是网络关系型数据库 3.MongoDB：是非关系型数据库 一.SQLite数据库 SQLite是 阅读全文
摘要：
保存数据有多种方式，其中最简单、成本最低的就是将数据保存在二进制或文本文件中。这些文件主要包括XML文件、CSV文件、JSON文件等。本章详细介绍Python API读写这些文件 一.操作文件的基本方法 ###1.1打开文件 open函数用于打开文件，通过该函数的第一个参数指定要打开的文件名(可以是 阅读全文
摘要：
虽然Beautiful Soup库的功能非常强大，但CSS选择器功能有些弱，至少相对于本章介绍的pyquery库弱。 ##一.什么是pyquery pyquery在CSS选择器层面上较强。(待补) ##二.安装pyquery ###2.1pip 安装 pyquery pip install pyqu 阅读全文
摘要：
from pyquery import PyQuery as pq html = ''' <div id="panel"> <ul class="list1"> <li class="item1" value1="1234" value2 = "hello world"><a href="https 阅读全文
摘要：
一.Beautiful Soup的基本概念 Beautiful Soup库是一个强大的基于Python语言的XML和HTML解析库，可以同它来方便的从网页中提取数据。 Beautiful Soup提供了一些简单的函数来处理导航、搜索、修改分析树等功能，他是一个工具箱，通过解析文档为用户提供需要抓取的 阅读全文