爬虫开发需要掌握的知识点

第一篇：爬虫基本原理

第二篇：环境安装与搭建

第三篇：网页抓取：urllib，requests，aiohttp，selenium，Splash

第四篇：网页解析：re，lxml，BeautifulSoup，pyquery

第五篇：数据存储：JSON，XML，CSV，Mysql，Mongodb，Redis

第六篇：高性能爬虫：

第七篇：Web组件：Flask，Tornado

第八篇：反爬之验证码破解：Tesserocr，滑动验证码破解，九宫格验证码破解

第九篇：反爬之池子：ADSLProxy，ProxyPool（代理池），CookiesPool（Cookie池）

第十篇：App抓取：Charles，mitmproxy，mitmdump，Appium

第十一篇：爬虫框架之：pyspider，Scrapy，Scrapy-Redis，Scrapy-Splash

第十二篇：管理部署：Docker，Scrapyd，Scrapyd-API，Scrapyd-Client，Gerapy

第十三篇：项目实战