摘要： numpy、pandas做数据清洗 numpy、pandas做数据清洗 numpy、pandas空值的清洗 有两种方式 删除空值所在的行数据 将缺失的行或者列进行删除 使用到的数据判断方法： isnull:判断数据是否是为空，如果为空返回True，否则返回False notnull:判断数据是否非空 阅读全文

摘要： scrapy框架 scrapy框架 简介： 所谓的框架其实就是一个被集成了很多功能且具有很强通用性的一个项目模板。 学习：学习是框架中集成好的各种功能的特性是作用。 进阶：逐步的探索框架的底层。 scrapy：是一个专门用于异步爬虫的框架。 高性能的数据解析、请求发送，持久化存储，全站数据爬取，中间 阅读全文

摘要： js加密+混淆破解 js加密+混淆破解 修改查询条件(城市的名称+时间范围)， 点击查询按钮后发起请求对应的数据包。点击查询按钮后，发起ajax请求。改请求就会将制定查询条件对应的数据加载到当前页面中。(我们要爬取的数据就是该ajax请求请求到的数据) 分析捕获到的数据报 请求方法 请求参数d:动态 阅读全文

摘要： 异步爬虫 异步爬虫 基于线程池 搭建模拟网站，基于Flask框架 templates设置如下图,Flask框架只能使用jinja2进行渲染 第二步： 在templates中创建test.html 下面是python搭建Flask框架 !/usr/bin/env python coding:utf 8 阅读全文

摘要： Docker Docker Docker是一个运维使用的工具，停留在运用上即可 是通过go开发的 Docker属于C/S架构，Client/Server 既有客户端和服务端 网站是是属于B/S架构，Broswer/Server浏览器和服务端 作用：用于安装部署项目运营时需要的软件和依赖的工具，类似于 阅读全文

摘要： jwt登录流程分析 jwt登录流程分析 jwt适合于分布式站点单点登录 单点登录：一处登录，所有共享服务器或者站点都面登录 分布式服务器结构图 jwt就一段字符串，由三段信息构成的，连接在一起就是jwt字符串 而三段信息分别是:头部(header)、载荷(payload)、签证(signature) 阅读全文

摘要： 通用类GeneriaAPIView代码源码分析 通用类GeneriaAPIView代码源码分析 分析下列代码源码 class Student2GenricAPIView(GenricAPIView): queryset = Student.objects.all() serializer_class 阅读全文

摘要： 序列化 序列化 api接口开发，最核心最常见的一个过程就是序列化，所谓序列化就是把数据转换格式，序列化可以分为两个阶段： 序列化：把我们识别的数据转换成指定的格式提供给别人。 例如：把我们在django中获取的数据默认是模型对象，但是模型对象数据无法直接提供给前端或别的平台使用，所以我们需要把数据进 阅读全文

摘要： 接口服务架构：restful、rpc 接口服务架构：restful、rpc 也是api接口种类，主要有rpc和restful rpc 也叫远程过程调用(远程服务调用) 模型 服务端提供一个同一个地址 出现的问题 接口多了，对应函数和参数也就多了，前端在请求api接口时，就睡比较容易难找，容易出现重复 阅读全文

摘要： 更换Linux系统中的pip源 更换Linux系统中的pip源 命令如下： mkdir p ~/.pip/ touch pip.conf vim pip.conf pip.conf编辑内容 [global] index url=http://mirrors.aliyun.com/pypi/simpl 阅读全文