摘要：
使用协程构建高性能爬虫 一、简介 在执行一些 IO 密集型任务的时候，程序常常会因为等待 IO 而阻塞。比如在网络爬虫中，如果我们使用 requests 库来进行请求的话，如果网站响应速度过慢，程序一直在等待网站响应，最后导致其爬取效率是非常非常低的。为了解决这类问题，本文就来探讨一下 Python 阅读全文
摘要：
以梨视频为例分析页面请求抓取网页数据。本次抓取梨视频生活分类页面下的部分视频数据，并保存到本地。 一、分析网页 打开抓取网页，查看网页代码结构，发现网页结构里面存放视频的地址并不是真正的视频地址。 进入视频详情页面查看后，可以在response中找到真正的视频地址。保存这个地址的并不是标签，而是一个 阅读全文
摘要：
数据结构——链表 一.简介 二.Python实现 ♦链表节点 ♦单向链表 ♦添加节点 头插法：从链表的头部（左端）插入 尾插法：从链表的尾部（右端）插入 ♦插入节点 ♦删除节点 ♦修改节点 ♦获取节点 ♦遍历链表 ♦反转链表 ♦双向链表 ♦双链表节点删除 ♦双链表节点插入 1 class Node: 阅读全文
摘要：
一.Django中的请求 Django Web中从一个http请求发起，到获得响应返回html页面的流程大致如下： http请求发起 经过中间件 http handling（request解析） url mapping（url匹配找到对应的View） 在View中进行逻辑（包括调用Model类进行数 阅读全文
摘要：
一.Celery简介 Celery是一个简单，灵活，可靠的分布式系统，用于处理大量消息，同时为操作提供维护此类系统所需的工具。它是一个任务队列，专注于实时处理，同时还支持任务调度。 中间人boker: broker是一个消息传输的中间件。每当应用程序调用celery的异步任务的时候，会向broker 阅读全文
摘要：
单例模式 单例模式（Singleton Pattern）属于创建型模式，它提供了一种创建对象的最佳方式。这种模式涉及到一个单一的类，该类负责创建自己的对象，同时确保只有单个对象被创建，并提供一种访问其唯一对象的方式。 特点： 1.单例类只能有一个实例 2.单利类必须自己创建自己的唯一实例 3.单例类 阅读全文
摘要：
观察者模式 内容：定义对象间的一种一对多的依赖关系,当一个对象的状态发生改变时, 所有依赖于它的对象都得到通知并被自动更新。观察者模式又称“发布-订阅”模式。 角色： 抽象主题（Subject） 具体主题（ConcreteSubject）——发布者 抽象观察者（Observer） 具体观察者（Con 阅读全文
摘要：
二叉树 简介： 二叉树是每个结点最多有两个子树的树结构。通常子树被称作“左子树”（left subtree）和“右子树”（right subtree）。 二叉树二叉树的链式存储： 将二叉树的节点定义为一个对象，节点之间通过类似链表的链接方式来连接。 节点定义： 二叉树的遍历： 二叉树的遍历方式： 前 阅读全文
摘要：
抽象工厂模式 内容：定义一个工厂类接口，让工厂子类来创建一系列相关或相互依赖的对象。 例：生产一部手机，需要手机壳、CPU、操作系统三类对象进行组装，其中每类对象都有不同的种类。对每个具体工厂，分别生产一部手机所需要的三个对象。 相比工厂方法模式，抽象工厂模式中的每个具体工厂都生产一套产品。 角色： 阅读全文
摘要：
队列的概念 只允许在一端插入数据操作，在另一端进行删除数据操作的特殊线性表；进行插入操作的一端称为队尾（入队列），进行删除操作的一端称为队头（出队列）；队列具有先进先出（FIFO）的特性。 阅读全文