摘要：
1.1 常用反扒机制 参考博客：https://blog.csdn.net/python36/article/details/90174300 1、header 浏览器的请求头 header中添加token等验证信息 2、Referer 防盗链 1. 访问的目标链接是从哪个链接跳转过来的（做防盗链的 阅读全文
摘要：
1.1 实现并发的常见方法 1、简介 1． 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 2． 进程：启用进程非常浪费资源 3． 线程：线程多，并且在阻塞过程中无法执行其他任务 4． 协程：gevent只用起一个线程，当请求发出去后 阅读全文
摘要：
1.1 爬虫相关模块命令回顾 1、requests模块 1、 pip install requests 2、 response = requests.get('http://www.baidu.com/ ') #获取指定url的网页内容 3、 response.text #获取文本文件 4、 res 阅读全文
摘要：
1.1 BeautifulSoup介绍 1、BeautifulSoup作用 1、BeautifulSoup是一个模块，该模块用于接收一个HTML或XML字符串，然后将其进行格式化 2、之后遍可以使用他提供的方法进行快速查找指定元素，从而使得在HTML或XML中查找指定元素变得简单 2、安装 pip3 阅读全文
摘要：
1.1 requests模块简介 1. requests模块介绍 1、 Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。 2、 Requests 是使用 Apache2 Licensed 许可证的 基于Python开发的HT 阅读全文
摘要：
1.1 python中字典对象实现原理 注：字典类型是Python中最常用的数据类型之一，它是一个键值对的集合，字典通过键来索引，关联到相对的值，理论上它的查询复杂度是 O(1) 1、哈希表 (hash tables) 1. 哈希表（也叫散列表），根据关键值对(Key-value)而直接进行访问的数 阅读全文
摘要：
1.1 树的概念 1、树的特性 1）一棵树中的任意两个结点有且仅有唯一的一条路径连通； 2）一棵树如果有n个结点，则它一定有n−1条边； 3）在一棵树中加一条边将会构成一个回路。 2、二叉树 1）二叉树是一种特殊的树，二叉树的特点是每个结点最多有两个儿子。 2）二叉树使用范围最广，一颗多叉树也可以转 阅读全文
摘要：
1.1 单例模式（只能创建一个对象） 1、单例模式介绍 1. 内容：保证一个类只有一个实例，并提供一个访问他的全局访问点 2. 使用场景：当类只能有一个实例而且客户可以从一个总所周知的访问点访问他 3. 例： 比如Test是一个类，你创建两个对象a=Test(), b=Test()在单例模式下a,b 阅读全文
摘要：
1.1 数据结构中的一些概念 1、数据结构是什么 1、简单来说，数据结果就是设计数据以何种方式存储在计算机中 2、比如：列表，集合，与字典等都是一种数据结构 3、程序 = 数据结构 + 算法 1.2 栈（stack） 1、栈的定义 栈是一种数据集合，可以理解为只能在一端进行插入或删除操作的列表 2、 阅读全文
摘要：
1.1 设计一个O(n)复杂度的算法 1、问题：计数排序 现在有一个列表，列表中的数范围都在0到100之间，列表长度大约为100万，设计算法在O(n)时间复杂度内将列表进行排序 2、原理 1、 必须知道这些数中最大的数是多少 2、 然后生成一个长度等于最大数的列表 3、 循环li列表中所有的数，li 阅读全文
摘要：
1.1 常用查找方法 1、递归 1. 递归条件 1、 自己调用自己 2、 有结束条件 2、二分查找 l = list(range(1,101)) def bin_search(data_set,val): low = 0 high = len(data_set) - 1 while low <= h 阅读全文