scrapy框架的创建与使用
Scrapy框架的命令介绍
scrapy命令分为两种:全局命令和项目命令
全局命令:在哪里都能使用。
项目命令:必须在爬虫项目里才能使用
全局命令
scrapy -h
项目命令
startproject 创建一个爬虫项目 然后进入框架就使用的是项目命令
然后再执行scrapy -h
比全局命令多了很多命令
scrapy命令使用
查看所有命令
scrapy -h
查看帮助信息
scrapy --help
查看版本信息
scrapy version
拿到百度信息shell命令
scrapy shell https://www.baidu.com
查看网址
response.url
查看内部命令
scrapy version -v
新建一个项目框架
scrapy startproject spider_name
创建爬虫类(spider),一个工程中可以存在多个spider,但是名字必须唯一
scrapy genspider name domain
查看当前项目内有多少爬虫
scrapy list
view使用浏览器打开网页
scrapy view http://www.baidu.comy
创建项目
网址:https://fang.5i5j.com/bj/loupan/
在命令行编写下面命令,创建项目fangdemo
scrapy startproject fangdemo
创建爬虫命令:
scrapy genspider fang fang.5i5j.com
爬虫名 域名
执行命令 scrapy crawl fang