Python项目:Scrapy项目
新建一个Scrapy项目
选取一个路径,cmd在这个目录下执行以下命令:
scrapy startproject python123demo
生成的文件目录
scrapy.cfg
为部署scrapy爬虫使用的。这里部署的概念是指将这样的爬虫放在特定的服务器上,并且在服务器配置好相关的操作接口。
对于本机使用的爬虫,不需要改变部署的配置文件。
items.py
需要继承Scrapy库提供的item的类。对于一般的例子,不需要用户编写。
middlewares.py
Scrapy框架中middlewares对应的代码模板。如果用户希望扩展middleware的功能,那么需要把这些功能写到这个文件中。