使用Scrapy创建一个爬虫

使用Scrapy创建一个爬虫

创建项目

您可以使用下面的命令来创建 Scrapy 项目：

scrapy startproject 项目名称

例：
scrapy startproject scrapy_project

 

这将创建一个名为 project_name 的项目目录。接下来，进入新创建的项目，使用下面的命令：

cd  scrapy_project

 

控制项目

您可以控制项目，并通过使用Scrapy工具，也创造了新的蜘蛛(spider)，使用下面的命令进行管理：

scrapy genspider 爬虫名称 url

例：
scrapy genspider Baidu baidu.com

 

如：抓取等等的命令在 Scrapy 项目中的使用。这里所有命令在接下来 Scrapy 项目内使用运行。

Scrapy包含一些内置的命令，它可以用来为项目。要查看可用命令的列表，请使用以下命令：

scrapy -h

 

当运行上面的命令，Scrapy将显示如下面所列出可用命令的列表：

• fetch: 它使用Scrapy downloader 提取的 URL。

• runspider: 它用于而无需创建一个项目运行自行包含蜘蛛(spider)。

• settings: 它规定了项目的设定值。

• shell: 这是一个给定URL的一个交互式模块。

• startproject: 它创建了一个新的 Scrapy 项目。

• version: 它显示Scrapy版本。

• view: 它使用Scrapy downloader 提取 URL并显示在浏览器中的内容。

一些项目相关的命令，如下：

• crawl: 它是用来使用蜘蛛抓取数据；

• check: 它检查项目并由 crawl 命令返回；

• list: 它显示本项目中可用蜘蛛(spider)的列表；

• edit: 可以通过编辑器编辑蜘蛛；

• parse:它通过蜘蛛分析给定的URL；

• bench: 它是用来快速运行基准测试(基准讲述每分钟可被Scrapy抓取的页面数量)。

爬取

进入项目的根目录，执行下列命令启动spider:

 

scrapy crawl 爬虫名字
例：
scrapy crawl Baidu

 

待续·······

 

关注公众号：