爬虫知识点总结

1. 爬虫知识点总结

1.1 爬虫基本原理

1.1.1 爬虫基本原理

1.2 请求库

1.2.1 requests
1.2.2 selenium
1.2.3 requests-html

1.3 解析库

1.3.1 BeautifulSoup4

1.4 存储库

1.4.1 MySQL
1.4.2 Redis
1.4.3 MongoDB

2. 爬虫框架

2.1 Scrapy

3. 爬虫实例

3.1 requests+bs4爬取豌豆荚排行榜及下载排行榜app