爬虫介绍

合集 - 爬虫(7)

1.爬虫介绍2024-03-31

2.爬虫案例2024-03-313.requests模块2024-03-314.BeatifulSoup2024-03-315.Selenium框架2024-04-086.Selenium爬虫案例2024-04-087.Scrapy框架2024-04-08

收起

Python爬虫

（1）介绍

• Python爬虫是一种自动化获取互联网数据的技术，它通过编写程序实现自动访问网站并抓取所需的数据。

• 爬虫是一种自动化获取互联网数据的技术，通过模拟浏览器行为，向目标网站发送请求并获取响应，然后解析响应中的数据。

（2）爬虫的常用库

（1）requests

• 用于发送HTTP请求，方便地发送GET、POST等请求，并获取响应。
  • 应用领域：爬虫可以使用requests库来发送请求和获取响应。

（2）BeautifulSoup

• 用于解析HTML和XML文档，方便地提取其中的数据。
  • 应用领域：爬虫可以使用BeautifulSoup库来解析网页并提取需要的数据。

（3）Scrapy框架

• 提供了一套完整的爬虫开发流程，包括发送请求、获取响应、解析响应、存储数据等步骤。
  • 应用领域：爬虫可以使用Scrapy框架进行爬虫开发。

（4）Selenium

• 用于模拟浏览器行为，模拟用户在浏览器中的操作，如点击、输入等。
  • 应用领域：爬虫可以使用Selenium库来模拟用户行为，获取需要的数据。

总结：

​ requests 负责发送 HTTP 请求和获取响应，Beautiful Soup 负责解析 HTML 和 XML 文档。

（3）爬虫的流程

（1）发送请求

• 首先需要确定目标网站的URL，并使用相关的库或框架发送HTTP请求。
• 通常使用GET或POST方法来获取网页数据。
• 请求可能包含一些额外的参数，如请求头、Cookie等，以便模拟真实的浏览器行为。

（2）获取响应

• 一旦成功发送请求，目标网站会返回一个HTTP响应。
• 这个响应通常包含网页的HTML代码和其他相关信息，如状态码、响应头等。
• 通过使用Python模块（如requests、selenium）可以获取到完整的响应内容。

（3）解析响应

• 通过使用解析库（如BeautifulSoup、lxml、re）或者正则表达式等方式，对获取到的HTML代码进行解析。
• 解析的目的是提取出我们所需的具体数据，如标题、链接、图片等，并进行进一步的处理。
• 可以根据网页的结构和特征，选择合适的解析工具，从而方便地提取出所需数据。

（4）存储数据

• 解析到有价值的数据后，需要将其进行存储，以便后续的使用和分析。
• 存储的方式可以依据具体需求和数据结构来进行选择，常用的存储方式包括存储到文件（如CSV、JSON、Excel）、存储到关系型数据库（如MySQL、PostgreSQL）、存储到非关系型数据库（如Redis、MongoDB）等。