Scrapy框架立项

一、安装Scrapy

 pip install scrapy

二、创建scrapy项目

scrapy startproject my_spider

三，创建爬虫文件

scrapy genspider example example.com

#example 文件名称
#example.com 爬取网站地址
#如：scrapy genspider baidu baidu.com

出现下图就创建成功

 四、运行刚才创建的爬虫文件

scrapy crawl baidu

五、用代码运行Scrapy项目

import scrapy
from scrapy import cmdline #导入这个文件


class QingtingSpider(scrapy.Spider):
    name = "qingting"
    allowed_domains = ["m.qingting.fm"]
    start_urls = ["https://m.qingting.fm/rank/"]

    def parse(self, response):
        print('测试',response)
        pass


if __name__ == '__main__':
    cmdline.execute('scrapy crawl qingting'.split()) #写入这行代码

六、scrapy变量声明

#首先需要导入HtmlResponse包
from scrapy.http import HtmlResponse

如何在parse函数中使用
    def parse(self, response:HtmlResponse):
        print('测试',response)

        pass