摘要：
刚开始通过不同的地理位置，网络请求速度不同这一现象，引出了如何加速组件的下载，在前面的序言中引出了，用户只有10%~20%的时间花在加载html页面内容的请求，其余的80%~90%都花在了组件的加载上，于是，如果缩短了组件的加载时间，就可以缩短用户请求的时间。于是，就引出了CDN（内容网络发布），根 阅读全文
摘要：
http发送请求 在文章中的介绍了加速网页加载的方法之一，就是让http少发送请求，通过图片地图，图片内联，合并脚本和样式表,CSS Sprites的方法优化http发送请求。 1.图片地图：如果有五个需要请求的超链接，我们可以将这五个url放在一张图片上，这样的话就将五个请求转变为了一个请求，这就 阅读全文
摘要：
代码 # Define here the models for your spider middleware # # See documentation in: # https://docs.scrapy.org/en/latest/topics/spider-middleware.html imp 阅读全文
摘要：
背景：解析 站长素材首页的图片 看程序执行 在我执行完程序之后显示爬取成功 但是并没有爬取到图片 找错过程 把settings中的LOG_LEVEL = "ERROE"改成WARNING 就发现了警告信息 于是我又进行输出url 发现了本身爬取的url没有问题 但是用Request解析的时候就发现了 阅读全文
摘要：
笔记 - 图片数据爬取之ImagesPipeline - 基于scrapy爬取字符串类型的数据和爬取图片类型的数据区别？ - 字符串：只需要基于xpth进行解析且提交管道进行持久化存储 - 图片：xpath解析出图片src属性值。单独的对图片地址发起请求获取图片二进制类型的数据 - ImagesPi 阅读全文
摘要：
- 五大核心组件： - 引擎(Engine) 用作于数据流处理 可以触发事务 - 调度器(Scheduler)：请求对象去重 并压入队列，并在引擎再次请求的时候返回，可以想象成一个url的优先队列，由他来决定下一个要抓取的网址是什么，同时去除重复的网址 - 过滤器 - 队列 - 下载器(Downlo 阅读全文
摘要：
-基于Spider的全站数据爬取 - 就是将一个网站上的所有数据全部爬取下来 - 实现方法： - 将所有页面的url添加到start_urls 列表 （不推荐） - 自行手动进行请求发送（推荐）： -手动发送请求： - yield scrapy.Request(url=url,callback=se 阅读全文
摘要：
笔记 如何将爬取到的数据一份存储到本地一份存储到数据库？ - 创建一个管道类 - 爬虫文件提交到的item指挥给管道文件中的第一个被执行的管道类接收 - process_item方法中的return item表示将item提交给下一个管道类 在pipelines类中加入MysqlPiplines类 阅读全文
摘要：
笔记 - 基于管道： - 编码流程 -数据解析 - 在item类中定义相关的属性 - 将解析的数据封装到item对象中 - 将item类型的对象提交给管道进行持久化存储 - 在管道类的process_item中要将其接收到的item对象中存储的数据进行持久化存储 - 在配置文件中开启管道 - 好处： 阅读全文
摘要：
笔记 - 基于终端指令： - 要求：只可以将parse方法的返回值存储到本地的文本文件中 scrapy crawl dou -o ./douban.csv - 注意：持久化存储的类型只可以是'json', 'jsonlines', 'jsonl', 'jl', 'csv', 'xml', 'mars 阅读全文