09 2019 档案
摘要：1.什么是跨域? 当协议、子域名、主域名、端口号中任意一个不相同时，都算作不同域. 跨域并不是请求发不出去，请求能发出去，服务端能收到请求并正常返回结果，但是因为浏览器存在一个"同源策略",结果就被浏览器拦截了。 同源策略限制以下几种行为： 1. Cookie、LocalStorage 和 Inde
阅读全文
摘要：定义: 官方定义:wsgi是Web服务器网关接口（Python Web Server Gateway Interface，缩写为WSGI）是为Python语言定义的Web服务器和Web应用程序或框架之间的一种简单而通用的接口。 大白话:wsgi就是一种规范，提供了一种标准,一种sever与appli
阅读全文
摘要：django debug toolbar介绍 下载安装 配置 1. settings.py中 将 debug_toolbar 添加到 INSTALL_APPS 中 2. urls.py中 3. settings.py中 在中间件中加入DebugToolbarMiddleware 4. 如果是本机调试
阅读全文
摘要：Django中提供了6种缓存方式： 开发调试 内存 文件 数据库 Memcache缓存（python memcached模块） Memcache缓存（pylibmc模块） 配置文件 应用 视图中缓存 视图缓存只需要加上一个cache_page即可 全栈缓存 修改配置文件 模板局部缓存 使用内建的自定
阅读全文
摘要：什么是信号? jango的信号机制就是事件驱动模型，一个事件可以被多个函数注册，当一个动作行为触发了这个事件后，这个事件所对应的函数便执行相应的操作; 内置信号; django 内部有些定义好的signal供我们使用： 模型相关： 请求相关： 应用场景 信号的实现 首先在app中注册对应的信号名称,
阅读全文
摘要：1、前言 最近在项目中使用到Redis做缓存，方便多个业务进程之间共享数据。由于Redis的数据都存放在内存中，如果没有配置持久化，redis重启后数据就全丢失了，于是需要开启redis的持久化功能，将数据保存到磁盘上，当redis重启后，可以从磁盘中恢复数据。redis提供两种方式进行持久化，一种
阅读全文
摘要：前戏: 又到了最喜欢的前戏部分,这个前戏可能有点长: Nosql和sql的区别 存储结构与mysql这一种关系型数据库完全不同，nosql存储的是KV形式 应用场景不同，sql支持关系复杂的数据查询，nosql反之 sql支持事务性，nosql不支持 redis的优势 ,应用场景 性能高，读取速度1
阅读全文
摘要：1.rabbitmq的安装使用 2.消息和队列持久化
阅读全文
摘要：1.前戏 你最喜欢的前戏部分; 什么是docker? 应用场景 docker与虚拟机的区别 物理机 虚拟机 容器 docker的三大概念镜像,容器,仓库 2.docker与虚拟机的对比 | 特性 | 容器 | 虚拟机 | | | | | | 启动 | 秒级 | 分钟级 | | 硬盘使用 | 一般为
阅读全文
摘要：功能:flask—migrate是flask的一个扩展模块，主要是扩展数据库表结构的。 项目准备:一个干净的Flask项目,下载连接地址: https://pan.baidu.com/s/1WqdINYFPt3r CEqOOC3Gog 1.安装Flask Migrate 2.将 Flask Migr
阅读全文
摘要：Flask使用第三方脚本 一个干净的项目准备: 一个干净的Flask项目连接地址: https://pan.baidu.com/s/123TyVXOFvh5P7V8MbyMfDg 话不多说,上菜: 1.安装Flask Script 2.将 Flask Script 加入到 Flask 项目中 在My
阅读全文
摘要：Flask SQLAlchemy ,是对SQLAlchemy进一步封装 SQLAlchemy使用教程地址: https://www.cnblogs.com/bigox/p/11552542.html 首先要先安装一下Flask SQLAlchemy这个模块 首先你要有一个干净的Flask项目 项目下
阅读全文
摘要：前戏: 不用怀疑,你肯定用过Django中的orm,这个orm框架是django框架中自己封装的,在Django中配置和使用较为简单,但是并不适用于其他web框架,而今天说的sqlalchemy是兼容python语言的orm框架,相信你已经明白谁牛逼! 下面 ,接下来.... 还有比案例
阅读全文
摘要：个人本地开发测试环境亲身经历,线上环境不存在跨域问题,nginx转发 解决思路: 1.什么是跨域 在浏览器窗口中，和某个服务端通过某个 “协议+域名+端口号” 建立了会话的前提下，去使用与这三个属性任意一个不同的源提交了请求，那么浏览器就认为你是跨域了违反了浏览器的同源策略 2.如何解决:3种方法
阅读全文
摘要：django实现websocket大致上有两种方式，一种channels，一种是dwebsocket。channels依赖于redis，twisted等，相比之下使用dwebsocket要更为方便一些。 安装： pip install dwebsocket 配置： 简单使用： 模拟文件下载的简单示例
阅读全文
摘要：1.MySQl主从复制 原理 ：将主服务器的binlog日志复制到从服务器上执行一遍，达到主从数据的一致状态。 过程 ：从库开启一个I/O线程，向主库请求Binlog日志。主节点开启一个binlog dump线程，检查自己的二进制日志，并发送给从节点；从库将接收到的数据保存到中继日志（Relay l
阅读全文
摘要：一、Http和Https的基本概念 Http：超文本传输协议（Http，HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议。设计Http最初的目的是为了提供一种发布和接收HTML页面的方法。它可以使浏览器更加高效。Http协议是以明文方式发送信息的，如果黑客
阅读全文
摘要：在TCP层，有个FLAGS字段，这个字段有以下几个标识：SYN, FIN, ACK, PSH, RST, URG. 其中，对于我们日常的分析有用的就是前面的五个字段。 它们的含义是： SYN表示建立连接， FIN表示关闭连接， ACK表示响应， PSH表示有 DATA数据传输， RST表示连接重置。
阅读全文
摘要：1.、导引 如何进行电影分类 众所周知，电影可以按照题材分类，然而题材本身是如何定义的?由谁来判定某部电影属于哪 个题材?也就是说同一题材的电影具有哪些公共特征?这些都是在进行电影分类时必须要考虑的问 题。没有哪个电影人会说自己制作的电影和以前的某部电影类似，但我们确实知道每部电影在风格 上的确有可
阅读全文
摘要：1.matplotlib 静态图形处理 数据分析三剑客 Numpy : 主要为了给pandas提供数据源 pandas : 更重要的数据结构 matplotlib : 静态图形处理 海滨城市温度分析案例 1. 导包 2. 导入数据(各个海滨城的数据) 3. 去除没用的列 4. 构造数据,显示最高温度
阅读全文
摘要：Pandas pandas需要导入 1 Series Series是一种类似与一维数组的对象，由下面两个部分组成： values：一组数据（ndarray类型） index：相关的数据索引标签 Series的创建:默认索引为0到N 1的整数型索引 1. 由列表创建 2. 由numpy数组创建 2 S
阅读全文
摘要：Numpy NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 1 创建 ndarray 1. 使用np.array()创建 numpy默认ndarray的所有元素的类型是相同的 如果传进来的
阅读全文
摘要：分布式爬虫 什么是分布式爬虫 基于多台电脑组件一个分布式机群,然后让每一台电脑执行同一组程序,让后让他们对同一个网站的数据进行分布式爬取 为什么使用分布式爬虫 提示爬取数据效率 如何实现分布式爬虫 基于scrapy + redis 的形式实现分布式 原生的scrapy框架不能实现分布式,原因: 1.
阅读全文
摘要：CrawlSpider就是爬虫类Spider的一个子类 使用流程 1. 创建一个基于CrawlSpider的一个爬虫文件 :scrapy genspider t crawl spider_name www.xxx.com 2. 构造链接提取器和规则解析器 链接提取器: 作用:可以根据指定的规则进行指
阅读全文
摘要：下载中间件的应用 scrapy中间件有: 爬虫中间件，下载中间件 下载中间件应用较多 下载中间件： 作用：批量拦截请求和响应 拦截请求： UA伪装：将所有的请求尽可能多的设定成不同的请求载体身份标识 request.headers['User Agent'] = 'xxx' 代理操作：request
阅读全文
摘要：请求传参实现深度爬取 请求传参： 实现深度爬取：爬取多个层级对应的页面数据 使用场景：爬取的数据没有在同一张页面中 在手动请求的时候传递item：yield scrapy.Request(url,callback,meta={'item':item}) 将meta这个字典传递给callback 在c
阅读全文
摘要：scrapy 图片数据的爬取 基于scrapy进行图片数据的爬取: 在爬虫文件中只需要解析提取出图片地址，然后将地址提交给管道 配置文件中写入文件存储位置：IMAGES_STORE = './imgsLib' 在管道文件中进行管道类的制定： 1.from scrapy.pipelines.image
阅读全文
摘要：1.scrapy框架 1.1 安装scrapy 1. pip3 install wheel 2. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/ twisted 3. 进入下载目录，执行 pip3 install Twisted‑17.1.0
阅读全文
摘要：一.什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。 二.安装
阅读全文
