05 2024 档案
摘要：logstash logstash架构 logstash部署（二进制方式） 1.解压 tar -zxf logstash-7.xx.x-linux-x86_64.tar.gz -C /opt/software 2.软连接 cd /opt/software && ln -sv logstash-7.x
阅读全文
摘要：kibana 索引的分片和副本数各不相同 kibana中的索引模板可以设置分片数和副本数，不同的索引设置不同的索引模板 { # 副本数 "number_of_replicas":1, # 分片数 "number_of_shards":5 } dashboard 步骤 菜单栏--visualize l
阅读全文
摘要：FileBeat filebeat部署（二进制方式） 1.解压 tar -zxf filebeat-7.xx.x-linux-x86_64.tar.gz -C /opt/software 2.环境变量 vim /etc/profile.d/elk-filebeat.sh export FILEBEA
阅读全文
摘要：elasticsearch es单点部署（二进制方式） 1.配置java环境 # 下载oracle JDK https://www.oracle.com/cn/java/technologies/downloads/ 名称 jdk-8u381-linux-x64.tar.gz mkdir -pv /
阅读全文
摘要：搭建 使用Docker搭建ELK 创建网络 docker network create elk_network 启动elasticsearch容器 docker run -d --name elasticsearch --net=elastic -p 9200:9200 -p 9300:9300 \
阅读全文
摘要：命令行命令 psql --version 查看数据库版本 psql -l 列出所有数据库 (数据库用户可操作) createdb dbname 创建数据库 (数据库用户可操作) dropdb dbname 删除数据库 (数据库用户可操作) 元命令 \l 列出数据库 \c db_name 切换数据库
阅读全文
摘要：全局配置文件 postgresql.conf 配置文件主要负责配置文件位置、资源限制、集群复制等 pg_hba.conf 文件则负责客户端的连接和认证 pg_hba.conf详解 TYPE（允许的连接方式） local：使用Unix域套接字连接 host：匹配使用TCP/IP建立的连接，同时匹配SS
阅读全文
摘要：创建用户-createuser 创建一个名为 newuser 的非超级用户，newuser 继承自 pg_monitor 系统角色， 只能有 1 个连接，没有创建数据库的权限 ，没有创建用户的权限，并且立即给它设置密码， /opt/pgsql/bin/createuser -h pghost1 -p
阅读全文
摘要：安装 安装更新源 yum install -y https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-centos10-10-2.noarch.rpm 查看更新源 yum list | grep post
阅读全文
摘要：17.pgpool-II+异步流复制实现高可用 1.pgpool部署 主备操作 tar xvf pgpool-II-3.6.6.tar.gz ./configure --prefix=/opt/pgpool --with-pgsql=/opt/pgsql 2.互信配置 主备操作 vim /etc/h
阅读全文
摘要：3.客户端与服务端命令/进程结构 客户端命令 clusterdb reindexdb vacuumdb vacuumlo ceatedb dropdb createuser dropuser 服务端命令 initdb 用来创建新的数据库目录 pg_archivecleanup 是清理 Postgre
阅读全文
摘要：16.数据备份(SQL转储)与数据恢复 SQL转储就是将数据对象通过工具输出到由SQL语句组成的文件中 pg_dump可以单独备份表、schema或者database；pg_dumpall仅支持导出全库数据。 pg_dump可以将数据备份为SQL文本格式，也支持备份为自定义的压缩格式或TAR格式。压
阅读全文
摘要：15.增量备份 PIRT （point-in-timt recovery）时间点恢复 发生wal日志切换，就会触发归档 1.手动切换 2.写满16M 3.达到规定时间间隔（隐含条件：当前WAL日志中仍有未归档的WAL，才会归档） 创建WAL日志归档目录 mkdir -p /pgdata/10/{ba
阅读全文
摘要：14.逻辑复制（10版本开始） 逻辑复制，同步一张表 发布节点 vim postgresql.conf wal_level = logical max_replication_slots = 8 max_wal_senders = 10 允许订阅库连接 vim pg_hba.conf host po
阅读全文
摘要：12.主从异/同步流复制V9.6 物理复制也称流复制，是实例级的复制（复制出与主库一致的备库），分同步和异步 逻辑复制，可以做到表级别的复制，10版本前不支持内置逻辑复制，而是使用第三方工具（Slony-I, pglogical） 流复制与逻辑复制差异 逻辑复制核心原理是主库将WAL日志流发送给备库
阅读全文
摘要：13.流复制主备切换 延迟备库 同步优选提交 级联复制 主备切换-文件触发的方式 1.停止主库 pg_ctl stop -m smart 2.备库创建主备切换文件（与备库recovery.conf中的trigger_file设置的一致） touch /var/lib/pgsql/9.6/data/.
阅读全文
摘要：11.基准测试与pgbench 基准测试衡量指标 吞吐量（Throughput）：单位时间内处理事务数量，TPS（每秒事务数） 响应时间（RT）或延迟（Latency） 并发量 使用pgbench测试 1.初始化测试数据 pgbench 的内嵌脚本需要4张表：pgbench_branches、pgb
阅读全文
摘要：10.性能优化 linux系统的I/O调度算法 查看支持的算法 dmesg | grep -i scheduler 查看磁盘的算法 （中括号包围的） cat /sys/block/sda/queue/scheduler 修改（服务器重启失效） echo noop > /sys/block/sda/q
阅读全文
摘要：9.分区表 什么是分区表 分区表就是根据分区策略，将数据数据分散到不同的子表中，并通过父表建立关联关系，从而实现数据物理上的分区。 PG10版本之前，使用继承+触发器实现分区表，步骤较为繁琐。 PG10版本开始，采用内置分区，只支持范围分区和列表分区，PG11支持HASH分区 创建分区表 1.创建父
阅读全文
摘要：8.并行查询&事务&并发控制 并行查询 并行查询相关配置参数 max_worker_processes 最大后台进程数，默认8。备库参数值>=主库，重启DB生效 max_parallel_workers 支持的最大并行查询进程数，默认8 max_parallel_workers_per_gather
阅读全文
摘要：7.体系结构（重点） psql体系结构 https://zhuanlan.zhihu.com/p/405687213 逻辑结构 数据库集簇（ Database Cluster）：它是指由单个 PostgreSQL 服务器实例管理的数据库集合。 组成数据库集簇的这些数据库使用相同的全局配置文件和监听端
阅读全文
摘要：数字类型 数字类型操作符和数学函数 select 1+2,5-2.2*2,10/2,8%3; 加、减、乘、除、取余 select mod(8,3); 按模取余 select round(5.3),round(8.9); 四舍五入 select ceil(3.6),ceil(-8.2); 向上取整 s
阅读全文
摘要：创建监控 1.创建触发器规则 2.设置邮件报警 3.创建动作 创建触发器规则 1）在监控服务器 上做如下配置：准备邮件服务和邮箱帐号 rpm -q postfix netstat -utnlp | grep :25 grep zabbix /etc/passwd mail -u zabbix mai
阅读全文
摘要：zabbix通过mailx报警配置 cat <<EOF>> ~/163_alert_conf.sh #!/bin/bash CERT_DIR=/home/zabbix/.certs mkdir -p /home/zabbix/.certs chown -R zabbix.zabbix /home/z
阅读全文
摘要：安装步骤 安装LNMP平台 源码安装zabbix 安装监控端主机，修改基本配置 初始化zabbix监控web页面 修改php配置文件，满足zabbix需求 安装被监控端主机，修改基本配置 zabbix升级 https://blog.csdn.net/weixin_44082324/article/d
阅读全文
摘要：1.redis实战 redis五种数据类型 字符串 列表 字典 集合 有序集合（zset） 字符串 可以存储字节串，整数，浮点数 可以对存储着整数或浮点数的字符串执行自增和自减操作 如果对不存在的键或保存了空串的键执行自增减操作，键值被当做0处理 自增和自减命令 INCR INCR key_name
阅读全文
摘要：binlog日志 查看有效的binlog日志（正在用和历史的） show binary logs; 查看当前正在使用的binlog日志文件 show master status; 查看是否开启binlog,查看binlog的存储路径 show variables like 'log_bin%'; 查
阅读全文
摘要：schema标签 schema标签用于定义mycat中的逻辑库，可以定义多个逻辑库 name:自定义逻辑库的库名 checkSQLschema:当该值设置为 true 时，如果执行带有逻辑库名的select语句时，mycat会自动把逻辑库名去掉。 select * from DB01.TB_ORDE
阅读全文
摘要：常用分片规则及配置说明 一、枚举法 <tableRule name="sharding-by-intfile"> <rule> <columns>user_id</columns> <algorithm>hash-int</algorithm> </rule> </tableRule> <funct
阅读全文
摘要：配置mycat服务器 安装JDK yum -y install java-1.8.0-openjdk 或者 tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/ export JAVA_HOME=/usr/local/jdk1.8.0_171 exp
阅读全文
摘要：查询缓存 总的select查询数等于com_select(没命中) + qcache_hits(命中) + 解析错误的 其中的com_select等于qcache_inserts(失效) + qcache_not_cache + 权限检查错误的。 也就是说qcache_inserts这个计数不是表示
阅读全文
摘要：主库 192.168.4.10 处理写请求 从库 192.168.4.20 处理读请求 代理 192.168.4.100 读写分离 搭建一主一从 主库配置 vim /etc/my.cnf [mysqld] server_id=10 //指定服务器ID号 log-bin=master10 //启用bi
阅读全文
摘要：分区表 什么是分区表 对用来来说，分区表是一个独立的逻辑表，但底层是由多个物理子表组成。 分区是将一个表的数据按照某种方式，比如按照时间上的月份，分成多个较小的，更容易管理的部分。 使用分区表的限制 一个表最多1024个分区 分区表中不能使用外键 分区的字段必须包含在该表的主键索引或唯一索引中 不能
阅读全文
摘要：联网升级内核 1. 查看内核版本 uname -r 2. 导入ELRepo软件仓库的公共秘钥 yum update -y nss curl libcurl rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org 3. 安装ELRepo软件
阅读全文
摘要：yum -y install rpm-build 生成rpmbuild目录结构 rpmbuild -ba nginx.spec //报错后会自动在家目录root下创建一个子目录 ls /root/rpmbuild //自动生成的目录结构 BUILD BUILDROOT RPMS SOURCES SP
阅读全文
摘要：扇区的大小 512字节 识别硬盘→分区规划→格式化→挂载使用 分区的规划 MBR分区模式和GPT分区模式 MBR分区模式 三种分区类型：主分区、扩展分区（不能直接放数据）、逻辑分区 ３个主分区 １个扩展分区 n个逻辑分区 最多划分四个主分区 此模式最大分区空间2.2T 划分分区 fdisk /dev
阅读全文
摘要：处理日志的进程rsyslogd，处理绝大部分日志记录，包括操作系统相关，安全，认证，sshd，su，计划任务 常见日志文件 /var/log/messages 系统主日志文件 /var/log/secure 系统认证，安全相关日志文件 /var/log/maillog 邮件postfix日志文件 /
阅读全文
摘要：编辑网卡配置文件 vim /etc/sysconfig/network-scripts/ifcfg-网卡名 HWADDR= #MAC地址 NAME= #新网卡名 DEVICE= #新网卡名 编辑grub配置文件 vim /etc/default/grub GRUB_CMDLINE_LINUX="co
阅读全文
摘要：分库分表概述 分库分表应用注意 1.在数据库设计时考虑垂直分库和垂直分表 2.数据量增加时，不要马上做水平分割，而是先考虑缓存处理、读写分离、使用索引等方式。如果以上方式不能解决，再考虑水平分库和水平分表 分库分表问题 1.跨节点连接查询问题（查询垂直分库中的关联数据），这种情况需要分多次查询 2.
阅读全文
摘要：2. 线上服务器网络安全配置与系统登陆安全配置 线上服务器网络安全配置与系统登陆安全配置 关闭selinux iptables配置 iptables -P INPUT ACCEPT iptables -F iptables -A INPUT -p tcp -m tcp -dport 80 -j AC
阅读全文
摘要：3. 通过yum更新软件包常见yum源推荐时间服务器 通过yum更新软件包常见yum源推荐时间服务器 常见yum源 epel源 https://fedoraproject.org/wiki/EPEL repoforge源 http://repoforge.org/use/ wget https://
阅读全文
摘要：4.系统资源调优与内核参数配置 4.系统资源调优与内核参数配置 ulimit 查看 ulimit -a 其中max user processes项由系统自动定义，用户设定值超出系统定义值则不生效 /etc/security/limits.conf /etc/security/limits.d/90-
阅读全文
摘要：5.精简系统服务和开机进程 5.精简系统服务和开机进程 关闭不必要的程序 循环关闭所有程序 for i in `chkconfig --list` | grep 3:on | awk '{print
摘要：6.故障排除思路 6.故障排除思路 dmesg 查看系统日志 系统重启后，日志保存在/var/log/dmesg 网络故障排除思路 1.网络硬件传输问题 2.检查网卡是否能正常工作 3.检查DNS是否设置正常 4.服务是否打开 5.访问权限是否打开（防火墙） 6.局域网主机之间是否连接正常
阅读全文
摘要：7.操作系统相关资源优化策略 7.操作系统相关资源优化策略 文件系统优化 ext2 无日志记录（inode）功能 ext3 在ext2的基础上增加了日志记录功能，仅支持32000个子目录 ext4 ext3的后续版本，2.6.28内核开始，不限制子目录数量，快速fsck xfs 高性能文件系统，3.
阅读全文
摘要：8.cpu性能评估工具 8.cpu性能评估工具 vmstat 用于对操作系统的内存信息，进程状态，cpu活动进行监视 每3秒显示1次，共显示5次 vmstat 3 5 Procs r: cpu队列中进程数量，一般小于等于cpu的核心数，当该值经常大于cpu核心数时，表示cpu负载高 b： 等待IO的
阅读全文
摘要：9.内存评估工具 9.内存评估工具 free linux中内存使用分5部分used free shared buffer cache 在linux中打开的任何文件都会被缓存（放到cache），即使文件被关闭也不会释放内存，目的是为了提供更快的访问速度，这一点有别于windows。 缓存的原则是：缓存
阅读全文
摘要：10.磁盘性能优化/网络性能评估 10.磁盘性能优化/网络性能评估 netstat -r 查看路由情况 -i 查看网络接口情况 mtr 动态跟踪路由状态 mtr www.baidu.com traceroute 静态跟踪路由状态 系统性能分析标准（参考） 好 坏 糟糕 CPU %user + %sy
阅读全文
摘要：11.tomcat JVM参数优化 11.tomcat JVM参数优化 JVM (Java Virtual Machine) 整个堆内存大小 = 年轻代大小 + 年老代大小 + 持久代大小 优化参数 -server -Xms3550m -Xms3550m -Xmn2g -XX:PermSize=25
阅读全文
摘要：1.系统安装和分区经验与网络配置 1.系统安装和分区经验与网络配置 raid 系统盘做raid1 数据盘做raid1/raid5/raid10 分区 系统分区和数据分区分离原则 多分区原则 / 系统相关 /boot 启动相关 /var 日志 /usr 安装的软件 /data1 数据 /datan s
阅读全文
摘要：1.部署LVS-NAT 部署LVS-NAT集群 主机名 IP地址 client eth0:192.168.4.10/24 proxy eth1:192.168.2.5/24 eth0:192.168.4.5/24 web1 eth0:192.168.2.100/24 web2 eth0:192.16
阅读全文
摘要：2.部署LVS-DR 主机 IP client eth0 :192.168.4.10/24 proxy eth0:0 :192.168.4.15/24 eth0 :192.168.4.5/24 web1 lo:0 :192.168.4.15/32 eth0 :192.168.4.100/24 web
阅读全文
摘要：3.LVS工作模式 NAT TUN DR https://blog.csdn.net/weixin_40470303/article/details/80541639 NAT 1.LVS服务器配两块网卡，一块连公网与用户通信，一块连内网与集群通信 2.负载路由器充当网关 3.支持端口映射，后端真实服
阅读全文
摘要：4.LVS命令详解 集群定义 一组通过高速网络互联的计算机，以单一系统的模式加以管理；将很多服务器集中起来一起，提供同一种服务，在客户端看起来就像是只有一个服务器，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益 目的、优点 提高性能、降低成本、提高可扩展性、增强可靠性 分类
阅读全文
摘要：5.Keepalived+LVS-NAT Keepalived高可用服务器 访问虚拟IP 192.168.4.80 配置环境 web1和web2 安装http，写个测试页面 yum install -y keepalived 修改配置 修改web1服务器Keepalived配置文件 vim /etc
阅读全文
摘要：6.HAProxy https://my.oschina.net/gongfuxiang/blog/4545141 部署HAProxy服务器 配置网络，安装软件 echo 'net.ipv4.ip_forward = 1' >> sysctl.conf //开启路由转发 sysctl -p yum
阅读全文
摘要：永久缓存配置 nginx提供proxy_store指令将提供资源的服务器的响应内容缓存到本地，适合缓存网站中几乎不变的内容 server { listen 80; server_name 192.168.1.1; location / { root cache; # 缓存路径 需要手动创建给权限 /
阅读全文
摘要：虚拟主机 配置虚拟主机 当配置虚拟主机数量较多时，可以将部分配置移至子配置文件中。 在主配置文件中维护子配置文件的路径，子配置文件中直接写server块，一个server写一个虚拟主机的配置文件 vim /usr/local/nginx/conf/nginx.conf include /usr/lo
阅读全文
摘要：查看模块(组) less /path/to/objs/ngx_modules.c 调试 调试输出配置 下载echo-nginx-module模块并安装 mv echo-nginx-module-0.60 echo-nginx-module ./configure --add-module=/path
阅读全文
摘要：动静分离 vim /usr/local/nginx/conf/nginx.conf location / { root html; index index.php index.html index.htm; } location ~ \.php$ { root html; fastcgi_pass
阅读全文
摘要：nginx配置文件详解 https://blog.csdn.net/wangbin_0729/article/details/82109693 nginx架构 master/worker结构 一个master进程：负责负载加载和分析配置文件、管理worker进程、平滑升级 一个或多个worker进程
阅读全文
摘要：1.iptables firewalld和iptables有什么不同？ Firewalld和Iptables都是Linux系统中的防火墙软件，主要的不同点如下： 1. Iptables是一个底层的、基于内核的防火墙工具，它使用一种称为Netfilter的内核模块来拦截数据包。而Firewalld是基
阅读全文
摘要：mangle表 mangle表 mangle表的主要功能是根据规则修改数据包的一些标记位，以便其他规则或程序利用这些标记对数据包进行过滤或策略路由。 例子： 内网的客户机通过Linux主机连入Internet，而Linux主机与Internet连接时有两条线路，它们的网关如图所示。 现要求对内网进行
阅读全文
摘要：net表 net表 准备两台虚拟机A、B 虚拟机A：ens33（192.168.159.128），ens37（192.168.100.10），ens33可以上外网，ens37仅可以是内部网络。 虚拟机B：ens37（192.168.100.20）仅可以使用内部网络，并且和A设备可以通信。 需求：可以
阅读全文
摘要：state模块 state模块 我们作为客户端使用80端口发起请求，服务端使用80端口来相应我们的请求，在这个过程中，是我们主动请求80端口，80端口回应我们。 如果有人利用80端口主动连接我们，对我们发起攻击，该怎么办？ 1.改端口 别人还是有办法获得端口的，不可行 2.指定放行的主机 当主机特别
阅读全文
摘要：网络安全 交换机端口安全配置 交换机的端口和MAC相关联，谁先建立连接就先关联谁 interface Ethernet0/0/1 port-security enable port-security mac-address sticky port-security max-mac-num 1 dis
阅读全文
摘要：2.工作流程&基本概念 Git提供的工具有： git：Git的核心工具。 git-daemon：Git的守护进程。 git-email：Git发送电子邮件的工具。 git-cvs：导入CVS版本库的Git工具。 git-svn：导入Subversion版本库的Git工具。 git-bzr：用于使用b
阅读全文
摘要：非容器化CI/CD：代码构建完成后直接部署到服务器 容器化CI/CD：代码（镜像）构件完成后部署到harbor，通过镜像提供服务 官方yum源 sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stabl
阅读全文
摘要：Git官网：https://git-scm.com/ 源码安装git 安装依赖 yum install -y curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker ascii
阅读全文
摘要：在克隆完某个项目后，至少可以看到一个名为 origin 的远程库， Git 默认使用这个名字来标识你所克隆的原始仓库 列出远程仓库 git remote 列出远程仓库及对应的克隆地址 git remote -v 添加添加远程仓库 git remote add [shortname] [url] gi
阅读全文
摘要：git 常用命令 Git文档：http://www.kernel.org/pub/software/scm/git/docs/ git子命令 //启动工作区 clone 将版本库克隆到新目录中 init 创建一个空的Git版本库或重新初始化一个现有的版本库 //处理当前更改 add 添加文件到暂存区
阅读全文
摘要：redis基础 redis五种数据类型 字符串 列表 字典 集合 有序集合（zset） 字符串 （string） 使用位图数据结构 列表 （list） 使用链表数据结构。 列表中每个元素使用双向链表，支持前后遍历 字典 （hash） redis字典中的值只能是字符串 集合 （set） 内部键值是无序
阅读全文
摘要：RDB、RDB数据恢复 RDB是什么 RDB是redis数据持久化的一种，它将当前进程数据生成快照，并写入RDB文件中，恢复时将快照文件直接读入内存 触发机制 RDB触发机制有手动和自动两种 如何手动触发RDB 1.通过在命令行输入save和bgsave来实现 2.save命令会阻塞当前Redis服
阅读全文
摘要：AOF AOF数据恢复 AOF介绍 1.所有的写入命令会追加到aof_buf（缓冲区）中。 2.AOF缓冲区根据对应的策略向硬盘做同步操作。 3.随着AOF文件越来越大，需要定期对AOF文件进行重写，达到压缩的目的。 4.当Redis服务重启时，可以加载AOF文件进行数据恢复。了解AOF工作流程之后
阅读全文
摘要：hash slots（槽） 个数 16384 hash slots（槽） 范围 0～16383 所有主库平分hash槽，从库没有hash槽 主库之间的数据是独立的，不一样的 集群不能用的情况: (1)有半数或者半数以上的主库机器down掉 (2)没有从库，集群不能用 一个主库挂掉，它的从库自动顶替为
阅读全文
摘要：主从复制结构模式 一主一从、一主多从、主从从 主从复制过程说明： 1.slave连接master，发送sync命令 2.master收到sync命令后，开始执行bgsave命令生成RDB文件并使用缓冲区来记录此后执行的所有写命令 3.masterbgsave执行完毕后，向所有从服务器发送快照文件，并
阅读全文
摘要：1.在被监控端创建自定义key 开始自定义监控项 vim /usr/local/zabbix/etc/zabbix_agentd.conf UnsafeUserParameters=1 Include=/usr/local/zabbix/etc/zabbix_agentd.conf.d/*.conf
阅读全文
摘要：zabbix支持的监控方式： agent：通过代理程序进行监控，如果被监控对象支持对应的agent，推荐首选这种方式。 ssh/telnet：通过远程控制协议进行通讯，比如ssh或者telnet。 SNMP：通过SNMP协议（简单网络管理协议）与被监控对象进行通讯，用这个方式监控路由器和交换机。 I
阅读全文
摘要：网络策略 NetworkPolicy 前端通过访问后端的API接口来获取数据库中的数据 前端、API接口、数据库在k8s中都为pod k8s要求所有pod可以互相访问，但生产中，不能让前端直接访问后端数据库 目标是保护数据库，使其不允许从除了API以外的任何pod访问 apiVersion: net
阅读全文
摘要：4.准入控制 43、简述Kubernetes准入机制 在对集群进行请求时，每个准入控制代码都按照一定顺序执行。如果有一个准入控制拒绝了此次请求，那么整个请求的结果将会立即返回，并提示用户相应的error信息。 准入控制（AdmissionControl）准入控制本质上为一段准入代码，在对kubern
阅读全文
摘要：3、k8s集群安全-授权 授权模式/机制/策略 通过API Server的启动参数 --authorization-mode 来设置。 可以指定多个授权模式 --authorization-mode=Node,RBCA,Webhook 多个模式按指定顺序对请求进行授权，每当一个模式拒绝请求时，请求会
阅读全文
摘要：2、k8s集群安全-认证 K8S的三种级别的客户端认证方式 HTTPS证书认证 基于CA根证书签名的客户端身份认证方式，最严格的认证方式 HTTP Token认证 通过一个token来识别合法用户，token是一个很长很复杂的字符串，每个token对应一个用户名存储在API Server能访问的文件
阅读全文
摘要：1.k8s集群安全-Role RoleBinding 认证（Authentication）、鉴权（Authoriaztion）、准入控制（AdmissionContorl）三步来保障其安全 Authentication（认证） 1.由一到多个认证插件完成。收到请求后，API Server依次调用为其
阅读全文
摘要：网络通讯方式，网络模型 kubernetes网络模型 每个Pod都拥有一个独立的IP地址 每个Pod都能够使用这个IP访问同一节点或不同节点内的其他Pod CNI规定pod创建或销毁时网络应该如何创建或销毁 kubelet在创建pod时会查看cni的上述规定（--cni-conf-dir=/etc/
阅读全文
摘要：cluster 网络 service 网络 当service和endpoint被创建时，kube-proxy会自动创建相应的转发规则，使得访问service的请求被转发到endpoint kube-api-server --service-cluster-ip-range ipNet(Default
阅读全文
摘要：docker存储 即使没有提前创建卷，两种挂载都会自动创建卷 卷挂载 卷的源目录为docker的默认的卷存储位置/var/lib/docker/volumes docker run mysql data_volume:/var/lib/mysql 绑定挂载 卷的源目录可以是docker主机的任何位置
阅读全文
摘要：什么是Service Kubernetes里的每个Service其实就是我们经常提起的微服务架构中的一个微服务 因为pod是会随时重启和关闭，而且IP也会变，所以需要一种资源，让用户能使用统一的IP来实现服务，这就是service SVC是一个Pod的逻辑分组，通过Label Selector，SV
阅读全文
摘要：ingressclass用于在集群内有多个ingress controller时候,区分ingress由谁处理 ingress概述 通常情况下， Service和Pod仅可在集群内部网络中通过IP地址访问，Ingress是建立在Service之上的7层访问入口，它支持通过URL的方式将Service
阅读全文
摘要：1.RC、RS、Deployment k8s控制器 K8S Deployment 故障排除图解指南 https://www.imooc.com/article/297421 RC、RS、 Deployment概述 RC（Replication Controller） RC独立于所控制的Pod，并通过
阅读全文
摘要：statefulSet StatefulSet作用 1.为pod提供唯一标识，保障部署和扩容缩容的顺序 2.为了解决有状态服务的问题（对应deployments和replicaSets是为无状态服务而设计），其应用场景包括 *稳定的持久化存储，即pod死亡后重新调度一个新的pod，还是能访问到之前p
阅读全文
摘要：Job、CronJob Job 负责批处理任务 Job的RestartPolicy不能是Always，只能是OnFailure或Never 按照批处理任务实现方式的不同，批处理任务可以分为如下的几种模式 Job Template Expansion（扩展工作模板） 1.一个Job对象对应一个待处理的
阅读全文
摘要：DaemontSet DaemonSet 1.用于在集群中的每个node上运行一个Pod实例 2.在daemonset的生命周期内，当有node加入/移除集群时，会自动为node添加/回收Pod 3.删除daemonSet将会删除它创建的所有Pod 提示 kube-proxy就是以daemonset
阅读全文
摘要：1.Pod概述 pod概述 1.每个Pod都有一个Pause容器，也称为“根容器”。除了Pause容器，每个Pod还包含一个或多个业务容器。 2.Pod中的容器共用pause容器的网络栈和存储卷。同一个pod中的两个容器只要localhost:端口就可以互相访问，同一个pod中端口不能重复 3.每个
阅读全文
摘要：2.Pod生命周期和重启策略 Pod可能处于的状态 常见的状态转换场景 Pod的重启策略 Pod重启策略（RestartPolicy）应用于Pod内的所有容器，并且仅在Pod所处的Node上由kubelet进行判断和重启操作。当某个容器异常退出或者健康检查失败时，kubelet将根据RestartP
阅读全文
摘要：kubectl 常用命令总结 https://zhuanlan.zhihu.com/p/423527602 api-version相关 kubectl api-resources -o wide # 查看资源的api版本 kubectl api-resources --api-group apps
阅读全文
摘要：安装 k8s安装 保姆级安装教程 https://www.cnblogs.com/Sunzz/p/15184167.html 一、环境准备 1.关闭防火墙和selinux systemctl stop firewalld && systemctl disable firewalld && iptab
阅读全文
摘要：资源清单 资源类型 yaml语法 数据类型 yaml文件常用字段 集群资源分类（按适用性范围分类） 名称空间级别（包括工作负载型资源 服务发现及负载均衡型资源配置与存储型资源 特殊类型的存储卷） 集群级别 元数据级别 k8s中所有的内容都抽象为资源，资源实例化之后叫做对象 工作负载型资源（workl
阅读全文
摘要：各个组件配置文件 vim /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf kubelet /var/lib/kubelet/config.yaml /usr/lib/systemd/system/kubelet.service /e
阅读全文
摘要：kube-proxy工作原理 kube-proxy工作原理 https://cloud.tencent.com/developer/article/1097449 每个node节点上都有一个kube-proxy进程，这个进程从master、apiserver获取信息，感知service和endpoi
阅读全文
摘要：2.核心组件运行机制 40、简述Kubernetes kubelet的作用 在Kubernetes集群中，在每个Node（又称Worker）上都会启动一个kubelet服务进程。该进程用于处理Master下发到本节点的任务，管理Pod及Pod中的容器。每个kubelet进程都会在API Server
阅读全文
摘要：工作流程总结 1.Prometheus服务器周期性地或在设定的时间段内，通过以下方式获取内容： 从已经配置好的job或者exporter中拉取metric（指标） 接收从Pushgateway推送过来的metric 从其他的Prometheus服务器中拉取metric 2.Prometheus服务器
阅读全文
摘要：白盒监控 对Exporter的使用可以称为“白盒监控”，即需要把对应的Exporter程序安装到被监控的目标主机上，从而实现对主机各种资源及其状态的数据采集工作。 黑盒监控 不是所有的Exporter都能部署到被监控的主机环境中，最典型的例子是监控全国网络质量的稳定性，通常的方法是使用ping操作，
阅读全文
摘要：禁用收集器 许多收集器默认都是启用的。使用no-前缀来修改状态。 例如， 暴露/proc/net/arp统计信息的arp收集器默认是启用的，由参数--collector.arp控制。 因此， 要禁用此收集器， 需要运行如下命令 node_exporter --no-collector.arp 配置t
阅读全文
摘要：静态配置 通过在prometheus.yaml文件下添加job_name字段及相应内容 vim /path/to/prometheus.yaml global: scrape_interval: 15s evaluation_interval: 15s alerting: alertmanagers
阅读全文
摘要：3.主机监控、应用监控 二进制安装node_exporter tar -zxvf node_exporter-xxx.tar.gz -C /usr/local cd /usr/local chown -R prometheus:prometheus node_exporter-xxx ln -sv
阅读全文
摘要：promQL数据类型 即时向量（Instant Vector）：特定或全部的时间序列集合上，具有相同时间戳的一组样本值称为即时向量 范围向量（RangeVector）：特定或全部的时间序列集合上，在指定的同一时间范围内的所有样本 标量（Scalar）：一个浮点型的数据值 字符串（String）：支持
阅读全文
摘要：5.alertmanager altermanagre告警机制 ·Prometheus server采集各类监控指标，然后基于PromQL对这些指标定义阈值告警规则（Rules）。 ·Prometheus server对告警规则周期性地进行计算，如果满足告警触发条件，便生成一条告警信息，并将其推送到
阅读全文
摘要：6.pushgateway pushgateway的作用和适用情况 作用 Pushgateway本质上是一种用于监控Prometheus服务器无法抓取的资源的解决方案 适用情况 ·网络环境中的安全访问策略，服务或应用程序仅允许访问特定端口，使得prommetheus无法直接去拉取各个目标的监控数据
阅读全文
摘要：可视化-grafana 安装grafana yum install grafana systemctl start grafana-server systemctl enable frafana-server lsof -i:3000 IP:3000 默认 admin admin 修改 添加prom
阅读全文
摘要：模板内置对象 helm install my-release ./mychart # {{ .Release.Name }} 的值为 my-release Release是你可以在模板中访问的顶层对象之一,其他顶层对象如下： * Release： Release对象描述了版本发布本身。包含了以下对象
阅读全文
摘要：容器监控 使用cAdvisor监控容器 1.使用二进制文件部署cAdvisor 下载地址 https://github.com/google/cadvisor/releases/latest https://github.com/google/cadvisor/releases/download/v
阅读全文
摘要：部署helm 自定义chart DashBoard 下载tar包 cd /root/test-yaml mkdir helm && cd helm wget https://mirrors.huaweicloud.com/helm/v2.13.1/helm-v2.13.1-linux-amd64.t
阅读全文
摘要：5.Pod调度方式 自定义调度器 通过spec.schedulername参数指定调度器的名字，可以为pod选择my-scheduler进行调度，而不是默认的default-scheduler： apiVersion: v1 kind: Pod metadata: name: annotation-
阅读全文
摘要：3.Pod健康检查和服务可用性检查 探针详细说明 存活探针 ·检测容器是否还在运行，如果探测失败，kubelet会杀死容器，容器重启（受重启策略影响） ·可以配置连续多少次失败才记为不健康 ·如果没有配置LivenessProbe，则默认容器启动为通过Success状态 就绪探针 ·用于判断容器内的
阅读全文
摘要：概述 在很多应用场景中，应用在启动之前都需要进行如下初始化操作： 等待其他关联组件正确运行（例如数据库或某个后台服务）。 基于环境变量或配置模板生成配置文件。 从远程数据库获取本地所需配置，或者将自身注册到某个中央数据库中。 下载相关依赖包，或者对系统进行一些预配置操作。 init_containe
阅读全文
摘要：Secret 简述Kubernetes Secret作用 Secret对象，主要作用是保管私密数据，比如密码、OAuth Tokens、SSH Keys等信息。将这些私密信息放在Secret对象中比直接放在Pod或Docker Image中更安全，也更便于使用和分发。 Secret有哪些使用方式 创
阅读全文
摘要：ConfigMap configMap描述 * ConfigMap供容器使用的典型用法如下： * (1)生成为容器内的环境变量。 * (2)设置容器启动命令的启动参数（需设置为环境变量）。 * (3)以Volume的形式挂载为容器内部的文件或目录。 * ConfigMap以一个或多个key:valu
阅读全文
摘要：PV & PVC https://blog.csdn.net/bdkl9998/article/details/106304255 PersistentVolume(PV) 是由管理员设置的存储，是集群的一部分，它不属于任何命名空间 PV的生命周期独立于使用它的pod的生命周期 PV更像是一种储备资
阅读全文
摘要：emptyDir & gitRepo k8s存储类型分类（卷的类型） 临时存储 emptyDir 用于存储临时数据的简单空目录 gitRepo 通过检出Git仓库的内容来初始化的卷 持久存储 hostPath 用于将目录从工作节点的文件系统挂载到pod中 nfs 挂载到pod中的NFS共享卷 con
阅读全文
摘要：etcd主要模块 etcd主要模块 raft: Raft 协议的核心实现，其中只实现了基本的 Raft 协议，井未提供实现网络层相关的内容 raft-http: Raft协议中各个节点发送消息时使用的网络层实现，该模块与raft模块紧密相关 wal 和 snap: WAL 日志和快照存储相关的实现
阅读全文
摘要：Kubelet通过--cluster-dns=启动参数，将DNS服务的IP地址写入每个容器的/etc/resolv.conf文件。 Kubernetes 的 DNS记录类型 A 记录（Address Record） A 记录用于将主机名映射到 IPv4 地址。 在 Kubernetes 中，A 记录
阅读全文
摘要：参考文档 网友关于helm的笔记 https://www.cnblogs.com/maiblogs/p/16771609.html helm官方文档 https://helm.sh/zh/docs/ artifactHUB (chart模板下载) https://artifacthub.io/pac
阅读全文
摘要：资源管理 * Pod的两个重要参数：CPU Request与Memory Request。 为了避免系统挂掉，该Node会选择“清理”一些Pod来释放资源，Kubernetes中该保障机制的核心如下。 * 通过资源限额来确保不同的Pod只能占用指定的资源。 * 允许集群的资源被超额分配，以提高集群的
阅读全文
摘要：集群备份、升级、扩容 哪些内容需要备份 1.集群中各种资源和应用程序，例如：pod service deployment等等 2.集群本身、集群内其他资源的信息 如何备份 1.如果是以声明式的方式创建资源，可以将其保存到代码库（如github）。如果是以命令式的方式创建的资源，使用下面的命令，将群集
阅读全文
摘要：kepalived keepalived配置文件分为三大部分 全局配置 对应的语句块有global_defs（全局定义）,static_ipaddress（静态地址）,static_routes（静态路由） global_defs用于配置 主要是配置故障发生时的通知对象以及机器标识 后两个用于配置本
阅读全文
摘要：库的相关操作 \c # 废弃当前编写错的操作指令 show global variables like '%password%'; # 搜索全局变量中包含password字样的 show databases; # 显示已有的库 use 库名; # 切换库 select database(); # 显
阅读全文
摘要：日志分析工具 mysqldumpslow 查看慢查询日志中的前 10 条慢查询： mysqldumpslow -t 10 /path/to/slow_query.log #按照查询时间排序显示慢查询： mysqldumpslow -s t /path/to/slow_query.log #按照查询次
阅读全文
摘要：yum remove mariadb* #卸载mariadb tar -xf mysql-8.0.28-linux-glibc2.12-x86_64.tar.xz mv mysql-8.0.28-linux-glibc2.12-x86_64 /usr/local/mysql vim /etc/pro
阅读全文
摘要：Mysql服务的组件： 连接池 管理，缓冲用户的连接，线程处理等需要缓存的需求 管理服务和工具组件 系统管理和控制工具，例如备份恢复，mysql复制，集群等 sql接口 接受用户的sql命令，并返回用户查询的结果 查询解析器 sql命令传递到解析器的时候会被饥饿稀奇验证和解析（权限，语法结构） 查询
阅读全文
摘要：物理备份 # 备份 cp -rp /var/lib/mysql/mytestdb /tmp/mytestdb-bak # 恢复 cp -rp /tmp/mytestdb-bak /var/lib/mysql/mytestdb # 也可以通过tar包的方式备份 tar -zcf /tmp/mytest
阅读全文
摘要：配置mysql多实例需要专用的、支持多实例的mysql软件。 这里用到的是mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz 解压mysql软件包 tar -xf mysql-5.7.34-linux-glibc2.12-x86_64.tar.gz -C /usr/
阅读全文
摘要：6.MySQL主从同步 、 主从同步模式 6.MySQL主从同步 、 主从同步模式 主从同步原理 (1)Master，记录数据更改操作 ①启用binlog日志 ②启用binlog日志格式 ③设置server_id (2)Slave运行2个线程 ①Slave_IO: 复制master主机binlog日
阅读全文
摘要：搭建docker私用仓库 1.下载docker注册镜像 docker pull registry:latest 2.运行容器 docker run -itd -p 5000:5000 --name hello-registry \ -v /tmp/registry:/tmp/registry reg
阅读全文
摘要：网络模型 CNM（Container Network Model） CNM 是 Docker 提出的容器网络模型，旨在标准化和简化容器网络的管理。 CNM 定义了一种通用的网络模型和 API，允许各种网络插件集成到 Docker 中，从而支持不同的网络实现方式。 CNM 提供了一个统一的接口，使得不
阅读全文
摘要：9.1Docker API Docker API种类 Docker Remote API: docker run等操作均是通过调用该API向Docker Daemon发起请求的 Docker Registry API Docker Hub API docker remote API 容器列表--获取
阅读全文
摘要：容器非持久化存储 每个Docker容器都有非持久化存储。 非持久化存储是创建容器时自动创建的，因此从属于容器，生命周期与容器相同，即删除容器也会删除全部非持久化数据。 默认情况下，非持久化存储是容器全部文件和文件系统保存的地方。 创建 使用 docker run -v 命令可以在创建容器时直接挂载一
阅读全文
摘要：容器=cgroup+namespace_rootfs+容器引擎 docker 实战 https://blog.csdn.net/woniu211111/article/details/108675525 docker compose https://blog.csdn.net/pushiqiang/
阅读全文
摘要：dockerfile dockerfile涉及执行代码、执行文件、环境变量、依赖包、运行时环境、动态链接库、操作系统发行版、服务进程、内核进程 从应用软件的角度来看，三者分别代表软件的三个不同阶段 dockerfile是软件的原材料 docker镜像是软件的交付品 docker容器是软件的运行态 D
阅读全文
摘要：playbook中变量的定义规则 变量名只能由数字、字母、下划线组成，且只能由字母开头 变量的来源 (1) setup模块中的所有变量都可以直接调用 (2) 在/etc/ansible/hosts中定义 - 普通变量：主机组中主机单独定义，优先级高于公共变量 - 公共变量：也称组变量，针对主机组中所
阅读全文
摘要：Docker安装脚本 yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/
阅读全文
摘要：Docker 查看docker信息 docker version 查看docker版本 docker info 查看docker版本 docker --help 查看docker帮助 docker events 用于实时输出Docker服务器中的发生的事件 --since="1610585455"
阅读全文
摘要：playbook文件示例 执行playbook，拷贝服务配置文件到目标主机后，对原文件修改后再次执行playbook，已启动的服务不会再次重启 - hosts: host10 remote_user: root tasks: - name: install httpd yum: name=httpd
阅读全文
摘要：ansible-galaxy galaxy中提供了编辑好的roles 访问 https://galaxy.ansible.com 下载相应的roles #列出所有已经安装的galaxy ansible-galaxy list #从官网下载 ansible-galaxy install geerlin
阅读全文
摘要：中文权威指南 http://www.ansible.com.cn/docs/playbooks_variables.html#yaml 安装 wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo w
阅读全文
摘要：roles介绍 1、将变量、任务、模板等文件单独配置在yaml文件中，在main.yaml中用include字段来指定要执行的yaml文件 2、官方建议目录/etc/ansible/roles 3、调用roles的yml文件与roles目录平级 roles的目录结构 roles目录中创建角色名 比如
阅读全文
摘要：所有模块一览 https://blog.csdn.net/sj349781478/article/details/106898574?utm_source=app&app_version=4.13.0 command模块 默认模块 可以不写 ansible host -a 'chdir=/data
阅读全文
