摘要：
5.1 文件存储 先用request把源码获取，再用解析库解析，保存到文本 1- txt 文本打开方式： file = open('explore.txt', 'a', encoding='utf-8') #a代表以追加的方式写入文本 file.write('\n'.join([question, 阅读全文
摘要：
本节内容为解析库的使用，内容涵盖：XPath、BeautifulSoup和PyQuery基础内容。 本节内容为解析库的使用，内容涵盖：XPath、BeautifulSoup和PyQuery基础内容。 · 正则表达来提取比较繁琐。 · 对于网页的节点来说，它可以定义 id、class 或其他的属性，而 阅读全文
摘要：
2.1 HTTP原理 1、URI、URL 统一资源标识符，统一资源定位符 协议+路径+资源名称 URL 是 URI 的子集，URI 还包括一个子类叫做 URN，它的全称为 Universal Resource Name，即统一资源名称。 URN 只命名资源而不指定如何定位资源，如 urn:isbn: 阅读全文
摘要：
本节内容为基础库的使用，内容涵盖：Urllib库基本使用，Requests库基本使用以及正则表达式基础。 3.1 Urllib 内置http请求库 request请求模块，error异常处理模块，parse工具模块，robotparser 识别网站robots.txt，识别哪些可以爬 3.1.1 发 阅读全文
摘要：
1.1 简介 · 爬虫是请求网站并提取数据的自动化程序 · 爬虫可以简单分为几步：抓取页面、分析页面、存储数据。 1.2 请求库的安装 · 在第一步抓取页面的过程中，我们就需要模拟浏览器向服务器发出请求，涉及到的第三方库有 Requests、Selenium、Aiotttp 等。 · Seleniu 阅读全文