摘要：
(1) 通用网络爬虫：也称全网爬虫，顾名思义，就是爬取的目标是互联网中的所有数据资源，主要应用于大型搜索引擎中(2) 聚焦网络爬虫：也称主题网络爬虫，按照预先定义好的主题有选择地进行网页爬取，爬取特定的资源(3) 增量式网络爬虫：即第二次爬取相同网页时，只爬取内容发生变化的数据，对于没有发生变化的不 阅读全文
摘要：
(1) 网络爬虫由控制节点 、爬虫节点 、资源库组成(2) 控制节点，也就是爬虫节点的中央控制器，负责调用爬虫节点进行爬取(3) 爬虫节点会按照相关的算法，对网页进行具体的爬取，爬取后的结果会存储在资源库中 阅读全文
摘要：
(1) 学习网络爬虫，可以私人定制一个搜索引擎，更好地理解数据采集原理(2) 为大数据分析提供更多高质量的数据源，获取更多有价值的信息(3) 可以更深层次地理解搜索引擎爬虫的工作原理，从而可以更好地进行搜索引擎优化(4) 从就业角度来说，爬虫工程师也是紧缺的人才，学习网络爬虫对就业来说非常有利 阅读全文
摘要：
(1) 网络爬虫又称网络蜘蛛，可以自动化浏览网络中的信息，进行互联网信息的自动检索(2) 搜索引擎会在海量的互联网信息中爬取优质信息并收录，当用户在搜索引擎上检索对应关键词时，会从收录的网页中按照一定的算法或排名规则呈现给用户(3) 大数据也离不开网络爬虫，需要使用网络爬虫去一些比较大型的站点爬取数 阅读全文
摘要：
可以使用两种方式安装 Python3，一种是直接去官网下载安装包，然后进行安装即可；另一种是通过安装 Anaconda 来安装 Python3， Anaconda 提供了 Python 的科学计算环境，里面自带了 Python 以及常用的库，安装好之后，Python3 的环境就配置好了，推荐用这种方 阅读全文
摘要：
如下，分别安装 Python3 、pip3 、Ipython3： 阅读全文
摘要：
HTTP 代理： (1) 如果我们一直用同一个IP去爬取同一个网站上的网页，久了之后可能会被该网站服务器屏蔽，因此我们可以使用代理IP来爬取，代理实际上指的就是代理服务器(2) 当我们使用代理IP爬取时，服务器端显示的是代理IP的地址，即使被屏蔽了，我们可以换一个代理IP继续爬取，代理IP获取页面： 阅读全文
摘要：
简单来说，我们访问每一个互联网页面，都是通过 HTTP 协议进行的，而 HTTP 协议是一个无状态协议，所谓的无状态协议即无法维持会话之间的状态。比如，仅使用 HTTP 协议的话，我们登录一个网站的时候，假如登录成功了，但是当我们访问该网站的其他网页的时候，该登录状态则会消失，此时还需要再登录一次， 阅读全文
摘要：
(1) 简单来说，爬虫就是获取网页并提取和保存信息的自动化程序(2) 使用 Python 爬取网页 > 使用【正则表达式 | CSS 选择器 | XPath 选择器】提取信息 > 使用数据库保存提取的信息(3) 有时候，我们用 Python 爬取网页得到的源代码和浏览器中看到的不一样，如下，浏览器会 阅读全文
摘要：
我们知道网页由一个个节点组成，那么我们可以使用 CSS 选择器来定位节点： (1) 如下，如果我们想选择 id 为 container 的节点，用 CSS 选择器表示为：#container(2) 如下，如果我们想选择 class 为 wrapper 的节点，用 CSS 选择器表示为：.wrappe 阅读全文