win7中python3.4下安装scrapy爬虫框架(亲测可用)
貌似最新的scrapy已经支持python3,但是错误挺多的,以下为在win7中的安装步骤:
1、首先需要安装Scrapy的依赖包,包括parsel, w3lib, cryptography, pyOpenSSL,twisted,lxml
其中,twisted和lxml的安装包可以在http://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的安装包(我的是win64,python34)
pip install Twisted-17.1.0-cp34-cp34m-win_amd64.whl安装,lxml同理。
2、pip命令直接安装parsel, w3lib, cryptography, pyOpenSSL。
3、安装过程中可能出现win32api报错,知道到https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/下载对应版本安装即可。
4、最后安装scrapy
pip install scrapy
至此,安装完成!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步