scrapy——全站数据爬取

-基于Spider的全站数据爬取
    - 就是将一个网站上的所有数据全部爬取下来
    - 实现方法：
        - 将所有页面的url添加到start_urls 列表 （不推荐）
        - 自行手动进行请求发送（推荐）：
            -手动发送请求：
                - yield scrapy.Request(url=url,callback=self.parse)