摘要：
几乎所有浏览器都提供了抓取数据包的功能，因为浏览器为抓包提供了一个专门的操作界面，因此这种抓包方式也被称为“控制台抓包”。本节以 Chrome 浏览器为例进行抓包演示。 控制台抓包指的是利用浏览器开的发者调试工具抓取客户端与后端服务器交互的数据，它能够将网络传输中发送与接收的数据进行截获、重发和编辑 阅读全文
摘要：
本节通过编写一个简单的爬虫程序，进一步熟悉 lxml 解析库的使用。 确定信息元素结构 首先明确要抓取信息的网页元素结构，比如电影名称、主演演员、上映时间。通过简单分析可以得知，每一部影片的信息都包含在<dd>标签中，而每一<dd>标签又包含在<dl>标签中，因此对于dd标签而言，dl标签是一个更大 阅读全文
摘要：
lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 Xpath 表达式提供了良好的支持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 安装lxml库 lxml 属于 Python 第三方库，因此需要使用如下方法安装 阅读全文
摘要：
为了帮助大家快速掌握 Xpath 表达式的使用，这里给大家推荐一款 Xpath 表达式匹配助软件，它就是 Xpath Helper。 Xpath Helper介绍 Xpath Helper 是一款谷歌应用商店推出的免费工具，因此您需要在谷歌商店进行下载。下载完毕后，谷歌浏览器会将其作为插件自动安装在 阅读全文
摘要：
在编写爬虫程序的过程中提取信息是非常重要的环节，但是有时使用正则表达式无法匹配到想要的信息，或者书写起来非常麻烦，此时就需要用另外一种数据解析方法，也就是本节要介绍的 Xpath 表达式。 Xpath表达式 XPath（全称：XML Path Language）即 XML 路径语言，它是一门在 XM 阅读全文
摘要：
本节编写一个快速下载照片的程序，通过百度图片下载您想要的前 60 张图片，并将其保存至相应的目录。本节实战案例是上一节《Python Request库安装和使用》图片下载案例的延伸。 分析url规律 打开百度图片翻页版（点击访问），该翻页版网址要妥善保留。其 url 规律如下： 第一页：https: 阅读全文
摘要：
Requests 库中定义了七个常用的请求方法，这些方法各自有着不同的作用，在这些请求方法中 requests.get() 与 requests.post() 方法最为常用。请求方法如下所示： 常用请求方法 方法 说明 requests.request() 构造一个请求对象，该方法是实现以下各个方法 阅读全文
摘要：
Python 提供了多个用来编写爬虫程序的库，除了前面已经介绍的 urllib 库之外，还有一个很重的 Requests 库，这个库的宗旨是“让 HTTP 服务于人类”。 Requests 是 Python 的第三方库，它的安装非常简便，如下所示： python -m pip install req 阅读全文
摘要：
前面讲解的爬虫案例都是单级页面数据抓取，但有些时候，只抓取一个单级页面是无法完成数据提取的。本节讲解如何使用爬虫抓取多级页面的数据。在爬虫的过程中，多级页面抓取是经常遇见的。下面以抓取二级页面为例，对每级页面的作用进行说明： 一级页面提供了获取二级页面的访问链接。 二级页面作为详情页用来提取所需数据 阅读全文
摘要：
Python 连接并操作 MySQL 数据库，主要通过 Pymysql 模块实现。本节讲解如何将抓取的数据存储至 MySQL 数据库。 提示：在学习本节知识之前，您已经掌握了 SQL 语言的基本语法。可参考《MySQL教程》 创建存储数据表 首先您应该确定您的计算机上已经安装了 MySQL 数据库， 阅读全文