Python项目:Scrapy项目

新建一个Scrapy项目

选取一个路径,cmd在这个目录下执行以下命令:
scrapy startproject python123demo

生成的文件目录

scrapy.cfg

为部署scrapy爬虫使用的。这里部署的概念是指将这样的爬虫放在特定的服务器上,并且在服务器配置好相关的操作接口。

对于本机使用的爬虫,不需要改变部署的配置文件。

items.py

需要继承Scrapy库提供的item的类。对于一般的例子,不需要用户编写。

middlewares.py

Scrapy框架中middlewares对应的代码模板。如果用户希望扩展middleware的功能,那么需要把这些功能写到这个文件中。

posted @ 2022-05-21 20:25  孤舟浮岸  阅读(54)  评论(0编辑  收藏  举报