摘要：
爬虫高性能 [TOC] 一、并发爬取 线程池或进程池+异步调用：提交一个任务后并不会等待任务结束，而是继续下一行代码 二、高性能 上述无论哪种解决方案其实没有解决一个性能相关的问题：IO阻塞，无论是多进程还是多线程，在遇到IO阻塞时都会被操作系统强行剥夺走CPU的执行权限，程序的执行效率因此就降 阅读全文
摘要：
见MySQL相关 阅读全文
摘要：
存储库——MongoDB [TOC] 一、安装MongoDB 4.0 1、安装 （1）可以去官网下载（我是直接选择msi文件的） https://www.mongodb.com/download center （2）运行文件，可以自定义（custom）安装，注意安装的时候一定要 把勾去掉 “Inst 阅读全文
摘要：
见Redis中 阅读全文
摘要：
解析库——beautiful soup [TOC] 一、BeautifulSoup简介 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过转换器实现惯用的文档导航、查找、修改文档的方式。Beautiful Soup 3 目前已经停止开发，官网推荐在现 阅读全文
摘要：
使用re正则来匹配解析 阅读全文
摘要：
滑动验证码破解 [TOC] 一、破解步骤 二、代码实现 python from selenium import webdriver from selenium.webdriver import ActionChains from selenium.webdriver.common.by import 阅读全文
摘要：
selenium请求库 [TOC] 一、什么是selenium selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE），编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。Selenium的核心Sel 阅读全文
摘要：
requests请求库 [TOC] 爬虫：爬取、解析、存储 一、请求 1、基本有用的参数 2、请求url编码 3、headers参数——添加请求头中的数据 4、params参数——不用urlencode 5、requests的其他参数 6、get方法与post方法 7、请求的整体流程 二、响应 1、 阅读全文