爬虫_scrapy_基本使用

1.scrapy是什么？

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

2.安装scrapy

pip install scrapy -i https://pypi.douban.com/simple

 

 常见报错及解决办法：

3.scrapy项目的创建以及运行

需要注意的是要把scrapy的路径添加到系统的环境变量里，否则提示scrapy不是可执行命令

 

 

 

 

3.1 执行创建项目命令

在指定的文件路径下执行cmd的命令

scrapy startproject myScrapyName

注意：项目的名字不允许使用数字开头，也不能包含中文

 

 查看创建成功的项目目录：

3.2 创建爬虫文件

要在spiders文件夹中去创建爬虫文件

创建命令

scrapy genspider 爬取文件的名字  要爬取网页

 

 注意：一般不加http://，直接使用域名

import scrapy


class BaiduSpider(scrapy.Spider):
    # 爬虫的名字 用于运行爬虫的时候使用的值
    name = 'baidu'
    # 允许访问的域名
    allowed_domains = ['www.baidu.com']
    # 起始的url地址 指的是第一次要访问的域名
    start_urls = ['http://www.baidu.com/']
    # 是执行了start_urls之后执行的方法，方法中的response就是返回的那个对象
    # 相当于 response = urllib.request.urlopen()\
    #       response = requests.get()
    def parse(self, response):
        print('苍茫的天涯是我的爱')

3.3 运行爬虫代码

scrapy crawl 爬虫的名字
eg:
scrapy crawl baidu

在spiders文件夹中cmd然后运行命令，但是却没有打印出我们写的输出，这是因为scrapy默认是遵守ROBOTS协议的

3.4 修改robotstxt

在settings.py中修改

 

 注释即可

再次运行命令：scrapy crawl baidu

 

 

原代码地址：https://gitee.com/heating-cloud/python_spider.git