scrapy爬虫笔记(安装)
我的环境:
win7 32bit
Anaconda3
python 3.7
如果你是小白可以参考:https://www.cnblogs.com/zlslch/p/8316835.html
在python3中需要安装的第三方库:
lxml、zope.interface、twisted、pyOpenSSL、pywin32,以及最后安装scrapy
安装方式可选择,如果不成功的话就换一种方法。每次安装完可以import一下,如果有问题再排查
conda install ***
pip isntall *** ,如果提示pip版本低的话先升级pip
PyCharm中手动安装
下载相应whl文件在cmd中安装,记得找对应操作系统和python版本的
在cmd中输入scrapy如果出现以下结果,表明环境安装ok
可能出现的问题(实测win7 64bit 比 win7 32bit 出现的问题少点)
1. pywin32导入失败:
安装后,在本地文件夹内(我的路径D:\Anaconda3\Lib\site-packages\pywin32_system32)找到
将这两个文件复制到:C:\Windows\System32路径下
2. 运行scrapy demo时报错:[twisted] CRITICAL: Unhandled error in Deferred
是依赖的包sqlite的问题,虽然是后续运行会出现的问题,但是可以前期先导入看下是否报错
解决方法参考https://www.cnblogs.com/aby321/p/11243566.html
3. 运行scrapy报错:You do not have a working installation of the service_identity module
是依赖的包 service_identity的问题,虽然导入没有问题,但是有可能不是最新版本,或者通过pip安装的不是最新版本
解决方法参考https://www.cnblogs.com/aby321/p/11243969.html