python3爬虫开发实战 第五课 常用库的安装
1. urllib re python系统自带的
2. Requests 请求库(pip install requests )
3. selenium 驱动浏览器的库(pip install selenium)
4. phantomjs 无界面浏览器的库(https://www.sohu.com/a/224999034_100122143)
用Python做爬虫的各位,不要再用PhantomJS了
5. lxml 安装 pip install lxml
6. beautifulsoup 安装 pip install beautifulsoup4
7. pyquery 安装 pip install pyquery
8. pymysql 安装 pip install pymysql
9. pymongo 安装 pip install pymongo
10. redis 安装 pip install redis
11. flask 安装 pip install flask :
如何用 Flask 反向代理服务器内部不同端口的监控页面/数据
req = requests.get(base_url + '/' + url, params=request.args, stream=True)
return Response(stream_with_context(req.iter_content()), content_type=req.headers['content-type'])
12. django 安装 pip install django
13. jupyter 安装 pip install jupyter (编写文档)