08 2022 档案
摘要：一、rabbitmq介绍 # 消息队列:MQ：消息队列就是基础数据结构中的“先进先出”的一种数据机构。想一下，生活中买东西，需要排队，先排的人先买消费，就是典型的“先进先出 # mq解决的问题： -应用解耦 -流量削峰 -消息分发 -异步消息 # mq的比较 -rabbitmq：消息准确性 -kaf
阅读全文
摘要：一、广播与单播 # 广播 -同一个局域网内，启动多台es服务器，自动组成集群 # 单播 -指定集群中有那些机器，如果没有指定的机器是不会被加到机器的 二、脑裂问题 elasticsearch集群中一个或者多个节点失去和主节点的通信，然后各节点就开始选举新的主节点，继续处理请求。这个时候，可能有两个不
阅读全文
摘要：一、Elasticsearch的文档增删查改(CURD) # 增 PUT lqz/_doc/1 { "name":"顾老二", "age":30, "from": "gu", "desc": "皮肤黑、武器长、性格直", "tags": ["黑", "长", "直"] } # 删 DELETE lq
阅读全文
摘要：一、Elasticsearch介绍 # 大规模数据如何存储和检索 》elasticsearch # Elasticsearch 是一个基于Lucene的分布式搜索和分析引擎，分布式全文检索引擎，java开发，遵循apache开源协议 使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的
阅读全文
摘要：一、进程、线程、协程 # 进程：进程就是一个程序在内存中的运行，进程是资源分配的最小单位 # 线程：线程是cup调度的最小单位 # 计算：消耗cpu，cpu进行运算 # io： 不消耗cpu # 垃圾回收机制：垃圾回收线程专门干这个事，一个进程下多线程情况下，使用GIL，只有获得gil锁的线程才能执
阅读全文
摘要：详情见：http://www.liuqingzheng.top/db/Redis系列/08-Redis系列之-Redis-Cluster/ 一、Redis主从复制 1.1 单实例存在的问题 机器故障；容量瓶颈；QPS瓶颈 1.2 什么是主从复制 架构：一主一从，一主多从 作用： 做读写分离 做数据副
阅读全文
摘要：一、redis介绍安装和配置典型应用场景 1.1 介绍 开源：c语言，早起版本2w3千行，没有外部依赖 基于键值对的存储系统：字典形式 多种数据结构：字符串，hash，列表，集合，有序集合 高性能，功能丰富 哪些公司在用？ github，twitter，stackoverflow，阿里，百度，微博，
阅读全文
摘要：一、MySQL主从搭建 1.1 什么是主从同步？ 一个主库，写数据都写到主库，从库只用来读数据，可以一主一从，可以是一主多从 两台机器：主库，从库（mysql版本必须一致） 1.2 原理 mysql主从配置的流程大体如图： 1）master会将变动记录到二进制日志(binlog)里面(主库要开启bi
阅读全文
摘要：一、迁移备份 # 一个容器内，尽量只有一个软件，不要把mysql，redis，。。。方到一个容器中，而要放到多个容器 # 镜像 >容器 >装了软件（vim，mysql） >打包成镜像 >运行成容器（带了软件） docker commit 容器id centos-vim:v1 # 容器打包成镜像 do
阅读全文
摘要：一、Docker安装与启动 # 1.yum 包更新到最新 # yum remove docker docker-common docker-selinux docker-engine # rm -rf /var/lib/docker yum update # 2.安装需要的软件包， yum-util
阅读全文
摘要：一、docker入门介绍 # 什么是虚拟化 在计算机中，虚拟化（英语：Virtualization）是一种资源管理技术，是将计算机的各种实体资源，如服务器、网络、内存及存储等，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以比原本的组态更好的方式来应用这些资源。这些资源的新虚
阅读全文
摘要：一、sqlalchemy的介绍及安装 1.1 介绍 sqlalchemy：独立的orm框架，轻松的集成到任意项目中去，SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在 DB API之上，使用关系对象映射进行数据库操作，简言之便是：将类和对象转换成SQL，然后使用数据API执行
阅读全文
摘要：一、数据库连接池 # flask 可以使用pymysql操作数据库 1.1 如果把conn做成全局 多个线程使用同一个链接对象，会导致数据错乱 1.2 如果在每个视图函数中建立链接 每个线程使用一个连接，会导致mysql连接数过大 1.3 借助于第三方模块dbutils，实现数据库连接池 pip
阅读全文
摘要：一、session的使用和原理 1.1 session执行原理 用户第一次请求后，将产生的状态信息保存在session中，这时可以把session当做一个容器，它保存了正在使用的所有用户的状态信息；这段状态信息分配了一个唯一的标识符用来标识用户的身份，将其保存在响应对象的cookie中；当第二次请求
阅读全文
摘要：一、路由系统 1.路由使用 flask 路由写法： 基于装饰器 from flask import Flask app = Flask(__name__) @app.route('/index', methods=['GET'], endpoint='index') # 第一个参数为url路径，第二
阅读全文
摘要：一、介绍 1.Flask介绍 Flask是一个基于Python开发并且依赖jinja2模板(DTL)和Werkzeug WSGI(符合wsgi协议的web服务器，wsgiref)服务的一个微型框架，对于Werkzeug本质是Socket服务端，其用于接收http请求并对请求进行预处理，然后触发Fla
阅读全文
摘要：一、scrapy介绍和安装 # requests,selenium,bs4(模块) >专业爬虫：爬虫框架（scrapy），在固定位置写固定代码，就能完成爬虫的功能 # Scrapy是一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式
阅读全文
摘要：一、 xpath的基本使用 简介：XPath 是一门在 XML 文档中查找信息的语言 # 一般解析库都会有子的的搜索标签的方法，一般都会支持css和xpath # 一般使用： div 找div标签 / 找当前路径下的标签 /div/a // 找当前路径子子孙孙下的标签 -/div//a . 表示当前
阅读全文
摘要：一、 selenium基本使用 # 由于requests不能执行js，有的页面内容，我们在浏览器中可以看到，但是请求下来没有 》selenium模块：模拟操作浏览器，完成人的行为 # selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScrip
阅读全文
摘要：一、 BeautifulSoup4 介绍 # （1）Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库 # （2）使用requests发请求拿回来的html，就可以使用bs4解析出咱们想要的数据 # （3）BeautifulSoup(要解析的字符串, "解析方式
阅读全文
摘要：一、 代理 1使用代理发送requests请求 import requests proxies = { 'http': '112.14.47.6:52024', } # 180.164.66.7 respone=requests.get('https://www.cnblogs.com/',prox
阅读全文
摘要：1 爬虫介绍 # 所有的软件，90%以上，cs,bs,主流都是用http协议通信，模拟发送http请求 》服务端把数据返回(html,xml,json) >数据的清洗（re，bs4） >入库（文件，mysql，redis，es，mongo） -mysql：tcp自定定制的协议 -redis：tcp自
阅读全文
