python知识点(爬虫)

网络爬虫：
网站

　　按渲染方式

　　　　　　　　服务端渲染

　　　　　　　　　　　　　　基础库

　　　　　　　　　　　　　　　　　　urllib---原生底层库

　　　　　　　　　　　　　　　　　　urllib3---相比urllib增加特性

　　　　　　　　　　　　　　　　　　httplib2---基础请求库

　　　　　　　　　　　　　　　　　　pycurl---libcurl的python实现

　　　　　　　　　　　　　　　　　　hyper---支持HTTP2新特性

　　　　　　　　　　　　　　封装库

　　　　　　　　　　　　　　　　　　requests---基于urllib3简单易用

　　　　　　　　　　　　　　　　　　grab---基于urllib3及PyQuery封装

　　　　　　　　　　　　　　　　　　MechanicalSoup---基于requests和BeautifulSoup封装

　　　　　　　　客户端渲染

　　　　　　　　　　　　　　寻找Ajax请求

　　　　　　　　　　　　　　模拟浏览器

　　　　　　　　　　　　　　模拟JavaScript

　　按同步异步
app