scrapy的一些基础知识

scrapy可以运用到大型爬虫上

fetch:显示网站爬取的过程

runspider：运行一个单独的爬虫文件，一定要进入文件的路径

shell：交互终端

startproject：创建一个爬虫项目

view：将网页的内容下载下来，并通过浏览器打开

--nolog  不显示读取的过程，作为附加参数

crawl：运行爬虫

check：测试，检测一个爬虫

创建一个爬虫

scrapy startproject 文件名

文件地址：/scrapy genspider -t basic 爬虫名 域名

list：显示可以使用的爬虫文件