摘要：
Selenium介绍 起初是一个自动化测试工具；但是在爬虫上可以 用来解决 requests 无法直接执行 JavaScript 代码的问题。 本质：通过驱动浏览器，模拟浏览器的操作（跳转、点击、下拉等）， 取到网页渲染之后的结果 注：支持多种浏览器；如：Chrome、Firefox、Phantom 阅读全文
摘要：
Beautiful Soup 解析库 简称BS4；是一个可以从 HTML 或 XML 文件中提取数据的 python 库。 中文文档 https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html 安装 pip3 install 阅读全文
摘要：
爬虫的定义 向网站发起请求，获取资源后分析并提取 有用数据 (我们的爬虫程序只提取网页代码中对我们有用的数据) 爬虫的基本流程 1、发起请求 使用 http 库向目标站点发起请求，即发送一个 Request Request 包含：请求头、请求体等 注：selenium 也是经常用到的模块，可以解析 阅读全文