爬虫开启项目啦

1.创建scrapy项目

 

scrapy  startproject 项目名
cd 项目名
scrapy genspider chouti chouti.com       创建一个爬取抽屉的爬虫
scrapy genspider -t crawl cnblogs cnblogs.com         创建一个爬取博客的爬虫
scrapy crawl chouti                  编写完成之后启动项目
View Code

 

2.项目中各个文件的作用介绍

项目名称
    项目名称/
        - spiders                # 爬虫文件 
            - chouti.py 
            - cnblgos.py 
            ....
        - items.py             # 持久化
        - pipelines                # 持久化
        - middlewares.py        # 中间件
        - settings.py             # 配置文件（爬虫）
    scrapy.cfg                    # 配置文件（部署）
View Code

3.项目实战地址，内有包含步骤说明和注释

https://github.com/yangyu57587720/qsbk_spider

 

posted @ 2018-10-18 19:14  知你几分  阅读(204)  评论(0)  编辑  收藏  举报