scrapy爬虫笔记(安装)

 

我的环境:

win7 32bit 

Anaconda3

python 3.7

 


 

 

如果你是小白可以参考:https://www.cnblogs.com/zlslch/p/8316835.html

 

在python3中需要安装的第三方库:

lxml、zope.interface、twisted、pyOpenSSL、pywin32,以及最后安装scrapy

安装方式可选择,如果不成功的话就换一种方法。每次安装完可以import一下,如果有问题再排查

conda install ***

pip isntall *** ,如果提示pip版本低的话先升级pip

PyCharm中手动安装

下载相应whl文件在cmd中安装,记得找对应操作系统和python版本的

 

在cmd中输入scrapy如果出现以下结果,表明环境安装ok

 


 

可能出现的问题(实测win7 64bit 比 win7 32bit 出现的问题少点)

 1. pywin32导入失败:

安装后,在本地文件夹内(我的路径D:\Anaconda3\Lib\site-packages\pywin32_system32)找到

将这两个文件复制到:C:\Windows\System32路径下

 

2. 运行scrapy demo时报错:[twisted] CRITICAL: Unhandled error in Deferred

是依赖的包sqlite的问题,虽然是后续运行会出现的问题,但是可以前期先导入看下是否报错

解决方法参考https://www.cnblogs.com/aby321/p/11243566.html

 

3. 运行scrapy报错:You do not have a working installation of the service_identity module

是依赖的包 service_identity的问题,虽然导入没有问题,但是有可能不是最新版本,或者通过pip安装的不是最新版本

解决方法参考https://www.cnblogs.com/aby321/p/11243969.html

 

posted @ 2019-07-25 14:44  aby321  阅读(208)  评论(0编辑  收藏  举报