python3.7安装pyspider

时间：2021-12-17

安装的版本python 3.7.8. 个人目的，其他版本不保证可行。

pyspider: 0.3.10

1，安装完python 3.7之后，再使用pip install pyspider -i 镜像 安装很容易，完成

2，跑pyspider ,遇到问题：

解决

pycurl-7.44.1-cp39-cp39-win_amd64.whl  这里下载：https://www.lfd.uci.edu/~gohlke/pythonlibs/

pip install x:\pycurl-7.44.1-cp39-cp39-win_amd64.whl

1，async和await从 python3.7 开始已经加入保留关键字中., 所以async不能作为函数的参数名.改这些：

python位置...\Lib\site-packages\pyspider

修改

1. run.py
2. fetcher\tornado_fetcher.py
3. webui\app.py

全字匹配修改async -> async_mode 之类其他名字。

 2，换flask ,werkzeug, wsgidav版本

python -m pip uninstall  模块 删除掉

再python -m pip install werkzeug==0.16.1

python -m pip install wsgidav==2.4.1

python -m pip install flask==1.0.2

3，修改pyspider\webui\webdav.py 第209 行：

    # 'domaincontroller': NeedAuthController(app),
    'http_authenticator':{
        'HTTPAuthenticator':NeedAuthController(app),
    },

4，下载phantomjs.exe放到 python.exe相同目录下

再启动pyspider

 然后打开浏览器，输入http://localhost:5000/

  就可以看到了：

test 创建第一个项目，名称，url,  --> run, 报

HTTP 599: SSL certificate problem 错误

 解决办法

在self.crawl的最后加上 validate_cert = False