摘要： [TOC] 进程池 线程池 阅读全文

摘要： 1 梨视频，进程池、线程池爬取 2 IP 代理池 3 糗事百科 + 微信自动回复 4 红楼梦 + 写入 MySQL + MongoDB 5 京东商品 + selenium 6 拉勾网 + selenium 7 cnblogs 博客爬取 + scrapy + 持久化 8 12306 自动登录 + 自动 阅读全文

摘要： 网站形态分两种，静态和动态，伪静态并不是真正的静态，实质上也是动态页面。 动态页面的含意就是，网页会根据访问者的请求，从服务器数据库里筛选访问者想要的内容内显示到访问者的浏览器上，不同的人访问同一页面，会看到不同的内容 静态页面，访问者访问一个页面，会直接从服务器把这个页面读出来显示到访问者的浏览器 阅读全文

摘要： [TOC] HTTP0.9（1991） 该版本极其简单，只有一个命令 GET GET /index.html 上面命令表示，TCP 连接（connection）建立后，客户端向服务器请求（request）网页index.html。 协议规定， 服务器只能回应 HTML 格式的字符串 ，不能回应别的格 阅读全文

摘要： [TOC] 什么是代理? 代理其实就是一个中介，A 和 B 本来可以直连，中间插入一个 C，C 就是中介。 刚开始的时候，代理多数是帮助内网 client 访问外网 server 用的 后来出现了反向代理，"反向"这个词在这儿的意思其实是指方向相反，即代理将来自外网客户端的请求转发到内网服务器，从外 阅读全文

摘要： 数据结构 就是能够用一根线串起来的数据结构 数组 （列表） 问：申请数组的前提条件是啥？ a[12]？内存需要满足的条件？ 答：内存必须有一块 连续 的内存空间 int a[7] : 声明一个数组，这个数组的数组名是 a， 数组的大小是 7， 数组元素的类型是整型。 int a[7] = array 阅读全文

摘要： [TOC] APP 爬虫 Application(以下称App)主要指安装在智能手机上的应用程序。APP 运行在相应的操作系统上, 如苹果公司的 iOS 系统或谷歌公司的 Android 系统。 App 和网站都是 Web 应用,它们与服务器通信时使用的协议是相同的。 与网站不同的是,App 的网络 阅读全文

摘要： [TOC] 算法 时间复杂度 算法的时间复杂度是一个函数，它定量描述了该算法的运行时间，时间复杂度常用“O”表述，使用这种方式时，时间复杂度可被称为是渐近的，它考察当输入值大小趋近无穷时的情况 时间复杂度小结： 时间复杂度是用来估计算法运行时间的一个式子（单位） 一般来说，时间复杂度高的算法比复杂度 阅读全文

摘要： [TOC] 简介 Matplotlib 是一个强大的 Python 绘图和数据可视化的工具包。 数据可视化也是我们数据分析的最重要的工作之一，可以帮助我们完成很多操作，例如：找出异常值、必要的一些数据转换等。 完成数据分析的最终结果也许就是做一个可交互的数据可视化 安装 简单回执线形图 在 jupy 阅读全文

摘要： [TOC] 简介 pandas是一个强大的Python数据分析的工具包，它是基于Numpy构建的，正因pandas的出现，让Python语言也成为使用最广泛而且强大的数据分析环境之一 Pandas 的主要功能 具备对其功能的数据结构DataFrame，Series 集成时间序列功能 提供丰富的数学运 阅读全文