python中scrapy框架安装和创建

第一步是先安装wheel

pip install wheel

第二步是安装lxml

pip install lxml

第三步是安装Twisted，先在https://www.lfd.uci.edu/~gohlke/pythonlibs/中找到Twisted，然后找到与自己安装的python的版本对应的版本下载下来，然后执行安装，因为我安装的的3.10.11版本，所以我下载的是310版本

pip install twisted_iocpsupport-1.0.2-cp310-cp310-win_amd64.whl

第四步安装pywin32

pip install pywin32

第五步安装scrapy

pip install scrapy

创建项目命令

scrapy startproject myproject

创建爬虫代码文件

scrapy genspider myspider www.xxxx.ocm

执行命令

scrapy crawl myspider

在执行时，不打印日志命名

scrapy crawl myspider --nolog
#也可以在配置文件中添加：LOG_LEVEL="ERROR"，设置输出错误类型