12 2019 档案
摘要：linux09 /消息队列、saltstack工具 [TOC] 1. 消息队列之rabbitmq 消息队列概述 rabbitmq安装/启动/创建后台管理用户 安装pika模块 通过python的pika模块，实现生产消费者 1、生产者代码如下： 2、消费者代码如下： 消息之ack机制 1、生产者代码
阅读全文
摘要：Linux08 /Docker 1. docker简介/安装 docker概述 打包应用程序及程序运行所依赖的环境产出叫做Docker镜像 可以启动多个镜像到服务器中 docker是cs架构，一般操作的都是客户端 Docker概念：Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及
阅读全文
摘要：python目录 "01 python入门" "02 python基础" "03 python函数" "04 python模块" "05 python面向对象" "06 python网络编程" "07 python并发编程" "08 前端js、jquery" "09 MySQL数据库" "10 Dj
阅读全文
摘要：Linux07 /redis的配置、五大数据类型、发布订阅、持久化、主从复制、哨兵配置、集群搭建 [TOC] 1. redis的安装/启动 redis的安装方式： 编译安装redis 修改redis的配置文件，支持更安全的启动方式 启动redis服务端 指定密码登录redis 2. redis的五大
阅读全文
摘要：算法数据结构03 /二分查找、排序算法 [TOC] 1. 二分查找 二分查找：只能作用在有序集合 代码实现： 2. 排序算法 冒泡排序 将乱序列表中的最大值 逐步 找出，将最大值最终移动到最后的位置 1.实现将最大的数移到最右边 2.实现冒泡排序：将上述操作逐步作用（n 1）次 3.时间复杂度： 最
阅读全文
摘要：2算法数据结构02 /常用数据结构 [TOC] 1. 栈 特性：先进后出的数据结构，有栈顶和栈尾 应用场景：每个 web 浏览器都有一个返回按钮。浏览网页时，这些网页被放置在一个栈中（实际是网页的网址）。现在查看的网页在顶部，第一个查看的网页在底部。如果按‘返回’按钮，将按相反的顺序浏览刚才的页面。
阅读全文
摘要：算法数据结构01 /算法数据结构概述 [TOC] 1. 算法 算法概述 算法是计算机处理信息的本质，因为计算机程序本质上是一个算法来告诉计算机确切的步骤来执行一个指定的任务。一般地，当算法在处理信息时，会从输入设备或数据的存储地址读取数据，把结果写入输出设备或某个存储地址供以后再调用。 算法是独立存
阅读全文
摘要：数据分析08 /数据分析综合项目 用户消费行为分析 [TOC] 第一部分：数据类型处理 数据加载 字段含义： user_id:用户ID order_dt:购买日期 order_product:购买产品的数量 order_amount:购买金额 观察数据 查看数据的数据类型 数据中是否存储在缺失值 将
阅读全文
摘要：数据分析07 /matplotlib绘图 [TOC] 1. 绘制线性图：plt.plot() 绘制单条线形图 绘制抛物线形图 在一个坐标系中绘制多条曲线 给x，y设定标识 设置图例大小 设置图例legend() 保存图例 2. 绘制柱状图：plt.bar() plt.bar()参数：第一个参数是索引
阅读全文
摘要：数据分析06 /pandas高级操作相关案例：人口案例分析、2012美国大选献金项目数据分析 [TOC] 1. 人口分析案例 需求： 1. 导入文件，查看原始数据 2. 将人口数据和各州简称数据进行合并 3. 将合并的数据中重复的abbreviation列进行删除 4. 查看存在缺失数据的列 5.
阅读全文
摘要：数据分析05 /pandas的高级操作 [TOC] 1. 替换操作 替换操作可以同步作用于Series和DataFrame中 创建df表格数据： 普通替换： 替换所有符合要求的元素:to_replace=15,value='e' 按列指定单值替换： to_replace={列标签：替换值} valu
阅读全文
摘要：数据分析04 /基于pandas的DateFrame进行股票分析、双均线策略制定 [TOC] 需求1：对茅台股票分析 茅台股票分析 使用tushare包获取某股票的历史行情数据。 tushare:财经数据接口包 pip install tushare 输出该股票所有收盘比开盘上涨3%以上的日期。 输
阅读全文
摘要：数据分析03 /基于pandas的数据清洗、级联、合并 [TOC] 1. 处理丢失的数据 两种丢失的数据： 1. 种类 None：None是对象类型，type(None)：NoneType np.nan(NaN)：是浮点型，type(np.nan)：float 2. 两种丢失数据的区别: objec
阅读全文
摘要：数据分析02 /pandas基础 [TOC] 1. pandas简介 numpy能够帮助我们处理的是数值型的数据，当然在数据分析中除了数值型的数据还有好多其他类型的数据（字符串，时间序列），那么pandas就可以帮我们很好的处理除了数值型的其他数据！ pandas中的两个常用的类：Series/Da
阅读全文
摘要：数据分析01 /数据分析之numpy模块 [TOC] 数据分析：是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律；数据分析是用适当的方法对收集来的大量数据进行分析，帮助人们做出判断，以便采取适当的行动 数据分析三剑客：numpy / pandas / matplotli
阅读全文
摘要：爬虫07 /scrapy图片爬取、中间件、selenium在scrapy中的应用、CrawlSpider、分布式、增量式 [TOC] 1. scrapy图片的爬取/基于管道类实现 爬取流程： 1. 爬虫类中将解析到的图片地址存储到item，将item提交给指定的管道 2. 在管道文件中导包：from
阅读全文
摘要：爬虫06 /scrapy框架 [TOC] 1. scrapy概述/安装 异步的爬虫框架 高性能的数据解析，持久化存储，全栈数据的爬取，中间件，分布式 Twisted：就是scrapy的异步机制，主要体现在下载器 框架：就是一个集成好了各种功能且具有很强通用性的一个项目模板。 环境安装： Linux：
阅读全文
摘要：爬虫05 /js加密/js逆向、常用抓包工具、移动端数据爬取 [TOC] 1. js加密、js逆向：案例1 需求： 将这个网页中的代理ip和端口号进行爬取 分析： 1. 爬取的数据是动态加载 2. 并且我们进行了抓包工具的全局搜索，没有查找到结果 意味着：爬取的数据从服务端请求到的是加密的密文数据
阅读全文
摘要：爬虫04 /asyncio、selenium规避检测、动作链、无头浏览器 [TOC] 1. 协程asyncio 协程基础 特殊的函数 就是async关键字修饰的一个函数的定义 特殊之处： 特殊函数被调用后会返回一个协程对象 特殊函数调用后内部的程序语句没有被立即执行 协程 对象。协程==特殊的函数。
阅读全文
摘要：爬虫03 /代理、cookie处理、模拟登录、提升爬虫效率 [TOC] 1. 代理 代理概念：代理服务器。 作用：接收请求==》请求转发。 代理和爬虫之间的关联： 可以使用请求转发的机制使得目的服务器接收到的请求对应ip的一个改变。 为什么要使用代理改变请求的ip地址？ 爬虫程序在短时间内对指定的服
阅读全文
摘要：爬虫02 /数据解析 [TOC] 1. 数据解析概述 什么是数据解析，数据解析可以干什么？ 概念：就是将一组数据中的局部数据进行提取。 作用：使用来实现聚焦爬虫 数据解析的通用原理 问题：html展示的数据可以存储在哪里？ 标签之中 属性中 1.标签定位 2.取文本或者取属性 数据解析的常用方法 r
阅读全文
摘要：爬虫02 /jupyter、爬虫概述、requests基本使用 [TOC] 1. jupyter的基本使用 什么是anaconda 是一个基于数据分析+机器学习的集成环境。 什么是jupyter（超级终端） 是anaconda中的一个基于浏览器可视化的编码工具 在指定目录下启动终端：录入jupyte
阅读全文
摘要：爬虫前篇 /https协议原理剖析 [TOC] https是基于http和SSL/TLS实现的一个协议，他可以保证在网络上传输的数据都是加密的，从而保证数据安全。 接下来我们从http协议开始，提出想法并逐步进行分析，最终实现Https。 1. http协议是不安全的 在https诞生之前，所有网站
阅读全文
浙公网安备 33010602011771号