第一:确认自己的Python版本3.6.x(因该版本与pyspider较为适应,其他版本易出错)

   如果不是3.6.x版本可以处理的办法:

    1.重新装3.6.x版本python环境,在pycharm中另外设置一个解释器路径只想python3.6.x

    2.删除python:通过cmd找到python位置删除 

 

第二:安装phantomjs,并配置环境变量

      phantomjs下载地址:https://phantomjs.org/download.html

   下载并解压后,将路径手动添加至环境变量path中

 

第三:创建pyspider 的虚拟环境 

  注意事项:一般而言,一个项目是一个虚拟环境,目的是防止外部安装包之间产生冲突导致代码出错

  具体步骤地址:https://jingyan.baidu.com/article/91f5db1b07b5b01c7f05e33b.html

  简单总结:

    1)创建一个文件夹供虚拟环境使用

    2)通过cmd进入该文件夹下,使用pip install virtualenv 安装虚拟环境创建需要的模块包

    3)通过命令创建虚拟环境 virtualenv pyspider(创建一个名为pyspider的虚拟环境,命令格式:virtualenv 环境名)

       但此时可能会复制原本存在的第三方安装包进入虚拟环境,为防止第三方安装包与pyspider所需第三方包产生冲突,对上述命令行进行再次修改

         virtualenv --no-site-packages pyspider 

       即:通过添加 --no-site-packages 命令行来阻碍复制第三方包

  虚拟环境命令:(venv:虚拟环境名)

    1)创建虚拟环境

         virtualenv venv 

    2)为环境指定Python解释器:

         virtualenv -p D:\4.Program\python\python.exe venv 

    3)激活虚拟环境

         activate venv 

    4)停止虚拟环境

         deactivate 

    5)删除虚拟环境

         rmvirtualenv venv  

    6)查看当前已创建的虚拟环境

         workon 

    7)切换虚拟环境

         workon venv 

    

第四:进入到创建的虚拟环境中装pypsider模块包

     1.下载 pyspider(使用国内镜像源)

        pip install pyspider -i https://pypi.tuna.tsinghua.edu.cn/simple 

     2.运行 pyspider 运行报如下错误:

       Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.

     解决方案:

       删除wsgidav 然后重新安装2.4.1版本

       使用 pip install wsgidav==2.4.1 直接指定wsgidav的版本,进行覆盖安装

     3.再次运行 pyspider

       报错 cannot import name 'DispatcherMiddleware'

     解决方案:

       卸载 pip uninstall werkzeug

       安装指定版本 pip install werkzeug==0.16.0

    4.再次运行 pyspider 运行成功

       成功后在终端显示如下:

  

  在网页端显示如下:

  

到此,pyspider入门阶段的环境基本配置完毕。