爬虫的框架:Scarpy

1、新建Scrapy项目:

进入项目目录,按住shift,选择windows powershell,在弹出的窗口输入:scarpy startproject 项目名

2、新建爬虫案例:

在新建的项目根目录中,按住shift,选择windows powershell,在弹出的窗口输入:scrapy genspider  爬虫名称 爬取页面的主机地址(scrapy genspider example example.com)

或者直接在第一步的窗口中:

cd youdaoSpider
scrapy genspider example example.com

3、执行命令:scarpy crawl 爬虫名称

posted @ 2019-09-14 22:49  狂飙的老蜗牛  阅读(195)  评论(0编辑  收藏  举报