Scrapy 安装
参考:http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html
1、安装python下载最新版本的python2.7.13
下载路径:https://www.python.org/downloads/release/python-2713/
下载完成后安装,安装过程中注意:
要把python.exe添加到Path
这样安装完成后就会自动把python相关环境变量设置好了,不用人工设置
安装完成
可见python2.7.13版本安装完成pip和easy_install就自动安装完成了,不用像早期版本,还需要单独安装。接下来就可以用pip安装其它包了
2、安装pywin32
下载地址:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
下载完成安装
3、安装Scrapy
安装之前先要安装pip install pyOpenSSL、pip install lxml、pip install zope.interface、pip install twisted
利用命令pip install
点击确定进行安装
安装完成,在C:\Python27\Lib\site-packages下找到
4、创建项目
利用命令scrapy startproject myproject在命令行里面创建项目
该命令将会在 myproject
目录中创建一个Scrapy项目。
接下来,进入到项目目录中:
cd myproject
这时候您就可以使用 scrapy
命令来管理和控制您的项目了。
比如,创建一个新的spider:
scrapy genspider mydomain mydomain.com
如下图:
说明scrapy框架安装成功
用pycharm打开后如下:
创建成功,说明scrapy框架安装成功,这样commands文件夹下就会建立一个工程tutorial
用pycharm打开这个工程,内容如下
参考资料:http://www.cnblogs.com/jinxiao-pu/p/6679802.html