爬虫基础

Requests

Requests建立在世界上下载量最大的Python库urllib3上，它令Web请求变得非常简单，功能强大且用途广泛。以下代码示例说明requests的使用是多么简单。

Requests可以完成您能想到的所有高级工作，例如：

•  认证
•  使用cookie
•  执行POST，PUT，DELETE等
•  使用自定义证书
•  使用会话Session
•  使用代理

BeautifulSoup

如果您从网站上提取了一些HTML，则需要对其进行解析以获取实际所需的内容。Beautiful Soup是一个Python库，用于从HTML和XML文件中提取数据。它提供了导航，搜索和修改解析树的简单方法。它非常强大，即使损坏了，也能够处理各种HTML。相信我，HTML经常被破坏，所以这是一个非常强大的功能。它的一些主要功能：

• Beautiful Soup会自动将传入文档转换为Unicode，将传出文档转换为UTF-8。您无需考虑编码。
•  Beautiful Soup位于流行的Python解析器(如lxml和html5lib)的顶部，使您可以尝试不同的解析策略或提高灵活性。
•  BeautifulSoup会解析您提供的任何内容，并为您做遍历树的工作。您可以将其告诉“查找所有链接”，或“查找带有粗体的表格标题，然后给我该文字。”