05 2022 档案
摘要：一 缓存的收益与成本 1.1 受益 1 加速读写 2 降低后端负载：后端服务器通过前端缓存降低负载，业务端使用redis降低后端mysql负载 1.2 成本 1 数据不一致：缓存层和数据层有时间窗口不一致，和更新策略有关 2 代码维护成本：多了一层缓存逻辑 3 运维成本：比如使用了Redis Clu
阅读全文
摘要：一 Redis Cluser介绍背景 1.1问题 123 # 存在问题 1 并发量：单机redis qps为10w/s,但是我们可能需要百万级别的并发量2 数据量：机器内存16g--256g，如果存500g数据呢？ 1.2 解决 12 # 解决：加机器，分布式redis cluster 在2015年
阅读全文
摘要：一 主从复制高可用 123 #主从复制存在的问题：#1 主从复制，主节点发生故障，需要做故障转移，可以手动转移：让其中一个slave变成master#2 主从复制，只能主写数据，所以写能力和存储能力有限 二 架构说明 可以做故障判断，故障转移，通知客户端（其实是一个进程），客户端直接连接sentin
阅读全文
摘要：一 持久化的作用 1.1 什么是持久化 redis的所有数据保存在内存中，对数据的更新将异步的保存到硬盘上 1.2 持久化的实现方式 1234567 快照：某时某刻数据的一个完成备份， -mysql的Dump -redis的RDB写日志：任何操作记录日志，要恢复数据，只要把日志重新走一遍即可 -my
阅读全文
摘要：一 什么是主从复制 机器故障；容量瓶颈；QPS瓶颈 一主一从，一主多从 做读写分离 做数据副本 扩展数据性能 一个maskter可以有多个slave 一个slave只能有一个master 数据流向是单向的，从master到slave 1.1 原理 123456789 1. 副本库通过slaveof
阅读全文
摘要：利用redis的乐观锁，实现秒杀系统的数据同步（基于watch实现）， 用户一： import redis conn = redis.Redis(host='127.0.0.1',port=6379) # conn.set('count',1000) with conn.pipeline() as
阅读全文
摘要：购买服务器和服务器配置 # 阿里，华为，腾讯云服务器 》按量付费 》用多少花多少钱 # 保证阿里云内要大于100块才能买，先用后付费 # 项目上线，需要一台服务器 》买的云服务器 》centos7.9 # 创建ecs 》按量付费 》选上海 》选2核4g 》装系统 》centos 7.9 》选硬盘ss
阅读全文
摘要：一 慢查询 1.1 生命周期 我们配置一个时间，如果查询时间超过了我们设置的时间，我们就认为这是一个慢查询. 慢查询发生在第三阶段 客户端超时不一定慢查询，但慢查询是客户端超时的一个可能因素 1.2 两个配置 1.2.1 slowlog-max-len 慢查询是一个先进先出的队列 固定长度 保存在内
阅读全文
摘要：1.1 Redis是什么 介绍 开源：早起版本2w3千行 基于键值对的存储系统：字典形式 多种数据结构：字符串，hash，列表，集合，有序集合 高性能，功能丰富 那些公司在用 github，twitter，stackoverflow，阿里，百度，微博，美团，搜狐 1.2 Redis特性（8个） 速度
阅读全文
摘要：一 通用命令 1.1 通用命令 12345678910111213141516171819202122232425262728293031323334353637383940 ####1-keys #打印出所有keykeys * #打印出所有以he开头的keykeys he*#打印出所有以he开头，
阅读全文
摘要：SQLAlchemy 1.介绍 SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在 DB API之上，使用关系对象映射进行数据库操作，简言之便是：将类和对象转换成SQL，然后使用数据API执行SQL并获取执行结果。 pip3 install sqlalchemy 组成部分： E
阅读全文
摘要：flask简介和快速使用 # python的web框架： -django：大而全，你想要的东西都有，公司里内部用的多 django 3.0以后异步，效率不高，orm是同步 -flask：小而精，好多东西没有，需要自己写，集成第三方 异步框架 -tornado： python2 -sanic：像fla
阅读全文
摘要：scrapy架构和目录介绍 # pip3 install scrapy # 创建项目：scrapy startproject cnblogs_spider 等同于django创建项目 # 创建爬虫：scrapy genspider cnblogs www.cnblogs.com 等同于创建app -
阅读全文
摘要：基本使用 # 下载模块：pip3 install selenium # 下载相关浏览器驱动：IE,火狐，谷歌(推荐用) # 谷歌驱动：https://registry.npmmirror.com/binary.html?path=chromedriver/ -跟浏览器版本一定要对应 -101.0.4
阅读全文
摘要：requests+bs4爬取汽车之家 import requests # pip3 install beautifulsoup4 from bs4 import BeautifulSoup res = requests.get('https://www.autohome.com.cn/news/1/
阅读全文
摘要：requests模块发送get请求 # 所有语言都可以做爬虫 》python简单一些 》库多 # 模拟发送http请求的库，requests库 》大佬基于python内置库 urllib(麻烦) 封装--》requests # 安装 pip3 install requests # 模拟发送get请求
阅读全文
