Scrapy框架立项

一、安装Scrapy

 pip install scrapy

二、创建scrapy项目

scrapy startproject my_spider

三，创建爬虫文件

scrapy genspider example example.com

#example 文件名称
#example.com 爬取网站地址
#如：scrapy genspider baidu baidu.com

出现下图就创建成功

 四、运行刚才创建的爬虫文件

?

1	scrapy crawl baidu

五、用代码运行Scrapy项目

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

import scrapy from scrapy import cmdline #导入这个文件     class QingtingSpider(scrapy.Spider):     name = "qingting"     allowed_domains = ["m.qingting.fm"]     start_urls = ["https://m.qingting.fm/rank/"]       def parse(self, response):         print('测试',response)         pass     if __name__ == '__main__':     cmdline.execute('scrapy crawl qingting'.split()) #写入这行代码

六、scrapy变量声明

#首先需要导入HtmlResponse包
from scrapy.http import HtmlResponse

如何在parse函数中使用
    def parse(self, response:HtmlResponse):
        print('测试',response)

        pass