模块安装——python3-scrapy

作为一个高效方便的python爬虫框架，scrapy的热度一直居高不下。python3中可以直接使用

pip3 install scrapy

的命令进行安装，也可以通过anaconda等版本的navigator进行可视化安装。Windows环境下使用scrapy有时候会报“ImportError: DLL load failed: 操作系统无法运行 %1。”的错误。

 

很明显该错误发生的原因是OpenSSL加载失败，解决方法很简单：

1.全盘搜索libeay32.ddl和ssleay32.dll，我们会发现有很多程序安装时自带了这两个动态链接库，从中挑一个比较可靠的来源。这里我选择微信。

2.进入该目录，复制该目录下的 libeay32.dll 和 ssleay32.dll 两个文件到 C:\Windows\System32下。如果原来有这两个文件则选择替换。

3.然后就可以 scrapy crawl xxx 了。如果仍然报“ImportError: DLL load failed: 操作系统无法运行 %1。”的错误，则从之前搜索到的 libeay32.dll 和 ssleay.ddl 中换一个其他来源的尝试。