windows7 64位下环境搭建scrapy爬虫框架

适用于python 2.7 64位安装

一、操作系统：WIN7 64位

 

二、python版本：2.7 64位（scrapy目前不支持3.x）

不确定位数的，看图

 

三、安装以下软件包：

如果配置环境的时候是直接pip install scrapy安装的，但是在过程中出现一些错误，发现是由于以下软件安装失败导致的。

所以请先安装这4个相关软件再安装scrapy。

一定要注意看看，你的python是不是64位的，位数一样才可以哈。否则要报错滴。

 

1.安装lxml-3.6.4-cp27-cp27m-win_amd64.whl文件

 　　a)首先下载pip-9.0.1工具

　　1.在以下地址下载最新的PIP安装文件：https://pypi.python.org/pypi/pip#downloads

　　2.下载pip-7.1.2.tar.gz (md5, pgp)完成之后，解压到一个文件夹，用CMD控制台进入解压目录，输入：python setup.py install  

　　3.安装好之后，我们直接在命令行输入pip，同样会显示‘pip’不是内部命令，也不是可运行的程序。因为我们还没有添加环境变量。

　　将D:\mysoft\Python\Scripts目录添加到系统的环境变量中去

     

 

     4.输入pip命令验证：

    

     5.命令行下执行：pip list

     提示DEPRECATION: The default format will switch to columns in the future. You can use --format=(legacy|columns) (or define a format=(legacy|columns) in your pip.conf under the [list] section) to disable this warning.解决方法

    

     解决

    

   

   

    6.安装lxml-3.6.4-cp27-cp27m-win_amd64.whl文件

   

 

2.安装一下组件包

1. pywin32-218.win-amd64-py2.7.exe
2. pyOpenSSL-0.13.1.win-amd64-py2.7.exe
3. VCForPython27.msi

安装验证：cmd进入python控制中心

import win32com;import OpenSSL;import lxml

import win32com,OpenSSL,lxml

如果没有报错，证明安装成功

 

四、安装scrapy：

使用pip命令

pip install scrapy

 

验证安装：cmd输入scrapy

scrapy

如果没有报错，如下图。证明安装成功

 

http://cuiqingcai.com/912.html

https://www.waitalone.cn/python-scrapy-install.html

http://blog.sina.com.cn/s/blog_14e4215d00102wmli.html

 

Scrapy依赖项的安装

Scrapy的依赖项可以在这里进行下载：http://pan.baidu.com/s/13oRlq

• 安装lxml-3.2.4.win32-py2.7.exe(64位系统需要安装lxml-3.2.4.win-amd64-py2.7.exe)
• 安装pywin32-218.win32-py2.7.exe(64位系统需要安装pywin32-218.win-amd64-py2.7.exe)
• 安装Twisted-13.2.0.win32-py2.7.exe(64位系统需要安装Twisted-13.2.0.win-amd64-py2.7.exe)
• 安装pyOpenSSL-0.13.1.win32-py2.7.exe(64位系统需要安装pyOpenSSL-0.13.1.win-amd64-py2.7.exe)
• 将zope.interface-4.0.5-py2.7-win32.egg拷贝到C:\Python27\Scripts目录下，执行$ easy_install.exe zope.interface-4.0.5-py2.7-win32.egg

验证scrapy依赖项是否安装成功的方法：

cmd执行$ python进入python控制台

• 执行import lxml，如果没报错，则说明lxml安装成功
• 执行import twisted，如果没报错，则说明twisted安装成功
• 执行import OpenSSL，如果没报错，则说明OpenSSL安装成功
• 执行import zope.interface，如果没报错，则说明zope.interface安装成功
• 如果安装成功，那么在cmd中执行& python，然后执行import lxml，如果没有报错，则说明lxml安装成功。