windows pyspider 爬虫安装
- 首先安装python2.7,并添加到环境变量
在pip-9.0.1目录下python setup.py install然后安装pip,出现错误
ImportError: No module named setuptools
解决:https://bootstrap.pypa.io/ez_setup.py 下载该脚本,运行python ez_setup.py
然后 python setup.py install,并将D:\Python27\Scripts添加到环境变量
-
开始pip install pyspider
- 运行pyspider,浏览器输入localhost:5000
-
需要安装phantomjs用来爬取经过渲染的网页
将D:\phantomjs-2.1.1-windows\bin添加到环境变量
PS:若在 pip install pyspider 过程中出现问题,参考 http://www.jianshu.com/p/36290e6acf45