scrapy框架的创建与使用

Scrapy框架的使用

Scrapy框架的命令介绍

scrapy命令分为两种:全局命令和项目命令

全局命令:在哪里都能使用。

项目命令:必须在爬虫项目里才能使用

全局命令

scrapy -h

 

 

 

项目命令

startproject 创建一个爬虫项目 然后进入框架就使用的是项目命令

然后再执行scrapy -h

比全局命令多了很多命令

 

 

 

scrapy命令使用

查看所有命令

scrapy -h

查看帮助信息

scrapy --help

查看版本信息

scrapy version

拿到百度信息shell命令

scrapy shell https://www.baidu.com

查看网址

response.url

查看内部命令

scrapy version -v

 

 

 

新建一个项目框架

scrapy startproject spider_name

创建爬虫类(spider),一个工程中可以存在多个spider,但是名字必须唯一

scrapy genspider name domain

查看当前项目内有多少爬虫

scrapy list

view使用浏览器打开网页

scrapy view http://www.baidu.comy

 

创建项目

爬取我爱我家楼盘信息
网址:https://fang.5i5j.com/bj/loupan/

在命令行编写下面命令,创建项目fangdemo

scrapy startproject fangdemo

创建爬虫命令:

scrapy genspider fang fang.5i5j.com

爬虫名 域名

执行命令 scrapy crawl fang

 

 

 

 

 

 

 

 

posted @ 2021-06-21 17:08  测试小能手1  阅读(125)  评论(0编辑  收藏  举报