28.MGR 重要参数group_replication_consistency
摘要：参数group_replication_consistency共 5 个值可选： 1. EVENTUAL：确保最终一致性，并不能保证数据实时同步。(MySQL 8.0.14 之前只有这一个选项) 优点：可以快速返回本节点已经成功应用的数据，不用等待所有的数据应用完成。 缺点：可能返回的数据比较旧。
阅读全文
2.ZABBIX警告常见问题集锦
摘要：一、磁盘 1、告警：Disk read/write request responses are too high表达式解释为:最近15分钟的对应磁盘的Disk read request avg waiting time (r_await)大于20ms或者 Disk write request avg
阅读全文
27.show engine innodb status多用于查看死锁记录信息
摘要：很多时候我们的死锁出现后立马就会回滚，无法通过报错日志直接定位到异常的sql语句，这里就需要使用mysql为我们提供的分析工具show engine innodb status
阅读全文
6.Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000794500000, 576716800, 0)
摘要：这个问题引起的原因是：服务器上物理内存太小，大部分都是应为程序太多，内存吃紧，而给jvm分配的内存太大(java程序启动需要的内存，linux不能给)，最好调整java程序jvm内存吧(测试环境下) 如果使用命令行执行job.json 可以在后面加上限制，如： pyhon /home/workspa
阅读全文
5.运行项目连接Mysql时出现警告Establishing SSL connection without server‘s identity verification is not recommende
摘要：jdbc:mysql://localhost:3306/testdb?useSSL=false 添加上述加粗部分,即可解决该警告,标红参数前面为你数据库连接URL,如果有多个参数记得用&连接,例如 jdbc:mysql://localhost:3306/testdb?characterEncodin
阅读全文
1.docker配置zabbix监控MySQL(待完成)
摘要：官网地址：https://www.zabbix.com/documentation/5.2/zh/manual 1.创建server docker run -idt \ --name zabbix-server-mysql \ -e DB_SERVER_HOST="mysql" \ -e MYSQL
阅读全文
25.sysbench压测
摘要：https://www.cnblogs.com/ivictor/p/16955580.html https://github.com/akopytov/sysbench
阅读全文
24.mysql OnlineDDL
摘要：什么是OnlineDDL？在了解OnlineDDL之前，我们先来了解一下什么是DDL。说DDL，就不得不提一下它的另外两个：DML和DCL。 他们三者的区别如下： DDL：data definition language，数据定义语言，用来定义数据的语句。例如我们平时的create table，cr
阅读全文
2.配置proxysql.conf进行读写分离
摘要：datadir="/var/lib/proxysql" admin_variables={ admin_credentials="admin:admin" mysql_ifaces="0.0.0.0:6032"} mysql_variables={ threads=4 max_connections
阅读全文
1.docker启动proxysql
摘要：docker run -idt \ --name proxysql \ --net=pxcNetwork \ --restart=always \ --publish 16033:6033 \ --publish 16032:6032 \ --publish 16070:6070 \ --resta
阅读全文
23.mysql自带压测工具mysqlslap示例
摘要：运行结果 Average number of seconds to run all queries：运行所有语句的平均秒数 Minimum number of seconds to run all queries：运行所有语句的最小秒数 Maximum number of seconds to ru
阅读全文
6.kettle自动建表将sql server数据库迁移到mysql
摘要：1.需求：自动建表将需要的sqlserver任意表迁移到mysql 2.基础信息： sqlserver数据库：zhc_test mysql数据库：test 3.整个过程需要2个job，4个trans 4.JAVA代码 public boolean processRow(StepMetaInterfa
阅读全文
5.kettle集群配置
摘要：kettle 安装配置 http://wiki.pentaho.com/display/BAD/Extracting+Data+from+HDFS+to+Load+an+RDBMS 安装Kettle需先安装jdk，配置环境变量，安装JDK时jdk bin和jre要在一个JDK目录下
阅读全文
4.kettle将数据加载到hadoop集群
摘要：kettle将数据加载到hadoop集群 1..将数据加载到HDFS a)启动Hadoop，创建Job，把文件放进Hadoop b)在桌面上打开PDI(kettle)：选择“文件（file）”-“新建（new）”-“job” c)添加启动项工作：你需要告诉PDI从哪开始的Job，所以点开设计面板的“
阅读全文
3.kettle使用
摘要：Kettle遇到的问题 Kettle基础 kettle有两种保存方式：一种是资源库方式（数据库），一种是文件格式（XML） kettle有两种类型Transformation和Job，Transformation完成针对数据的基础转换，Job则完成整个工作流的控制 3.kettle跨平台使用 a)
阅读全文
2.kettle命令行使用说明
摘要：Kettle命令行使用说明 1.Kitchen——作业执行器(后缀名：kjb) 是一个作业执行引擎，用来执行作业。这是一个命令行执行工具，参数说明如下。 -rep:Repositoryname任务包所在存储名 -user:Repositoryusername执行人 -pass:Repositoryp
阅读全文
1.javaScript日期格式化转换
摘要：// (new Date()).Format("yyyy-MM-dd hh:mm:ss.S") ==> 2006-07-02 08:09:04.423 Date.prototype.Format = function (fmt) { var o = { "M+": this.getMonth() +
阅读全文
10.防火墙开启指定端口
摘要：1、开启防火墙 systemctl start firewalld 2、开放指定端口 firewall-cmd --zone=public --add-port=1935/tcp --permanent 命令含义： --zone #作用域 --add-port=1935/tcp #添加端口，格式为：
阅读全文
9.linux挂载数据盘
摘要：https://blog.csdn.net/love_yu_er/article/details/88634274 适用系统：Linux（Redhat , CentOS，Debian，Ubuntu） * Linux的云服务器数据盘未做分区和格式化，可以根据以下步骤进行分区以及格式化操作。 下面的操作
阅读全文
2.注销带ACL TOKEN的服务
摘要：acl.json { "datacenter":"dc1", "acl": { "enabled": true, "default_policy": "deny", "down_policy": "extend-cache", "tokens": { "master": "91d4fd76-dc33
阅读全文
5.docker容器磁盘不够
摘要：引言 docker所在服务器，在运行了一段时间后，服务器磁盘目录渐渐不够用。 通过du -h --max-depth=1 / 逐级目录排查，发现/var/lib/docker目录文件过大。 解决方法 转移数据修改docker默认存储位置 建议：在docker安装完后，修改docker默认存储位置为其
阅读全文
4.docker错误Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen
摘要：1.docker端口映射或启动容器时报错Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen Error response from daemon: d
阅读全文
3.docker 搭建kafka和kafka-manager集群
摘要：1.搭建zookeeper集群 docker-compose.yml文件 version: '3.1' services: zoo1: image: zookeeper restart: always hostname: zoo1 ports: - 2181:2181 environment: ZO
阅读全文
5.docker elk（单节点）
摘要：1.elasticsearch https://www.elastic.co/guide/en/elasticsearch/reference/7.5/docker.html 1.1.docker pull elasticsearch:7.13.0 (docker pull elasticsearc
阅读全文
2.datax条件python3.6安装
摘要：一.安装python3.6.1 1.安装依赖环境（必须安装否则会出现python3编译器中不能使用退格键和方向键） yum install readline-devel gcc make patch gdbm-devel openssl-devel sqlite-devel readline-dev
阅读全文
3.datax-web搭建
摘要：1.路径 mkdir /home/datax-web cd /home/datax-web 2.下载 https://github.com/WeiYe-Jing/datax-web https://pan.baidu.com/s/13yoqhGpD00I82K4lOYtQhg 密码：cpsk 3.解
阅读全文
8.crontab+datax定时执行同步任务
摘要：# 添加定时任务crontab -e#每天23点50分执行sh脚本50 23 * * * /opt/datax/sync_gym_course_add.sh#每隔30分钟执行sh脚本*/30 * * * * /opt/datax/sync_gym_course_add.sh #查看crontab日志
阅读全文
4.centos8 yum直接安装简单配置nginx
摘要：1.安装nginx yum install -y nginx 2.启动nginx systemctl start nginx.service 3.设置开机自启 systemctl enable nginx.service 4.nginx 配置信息 网站文件存放默认位置（Welcome to ngin
阅读全文
2.查看sql server进程
摘要：SELECT SPID = er.session_id ,Status = ses.status ,[Login] = ses.login_name ,Host = ses.host_name ,BlkBy = er.blocking_session_id ,DBName = DB_Name(er.
阅读全文
22.docker mysql定时增量备份数据库
摘要：遇到的问题： 查看mysql-bin-00001日志内容，默认配置用户对/var/lib/mysql下的binlog文件没有读的权限，只有写的权限，所以需要先对该用户赋权： chown -R mysql:huichao /var/lib/mysql 查看日志内容： mysqllogbin /var/
阅读全文
21.docker mysql定时全量备份数据库
摘要：#先运行全量备份，再运行增量备份 #!/bin/sh #需求,对数据库进行全量备份 #备份日期 dumpDate=$(date "+%Y%m%d") #三天前的日期 old=$(date -d"3 day ago" +"%Y%m%d") #备份开始详细时间 startTime=$(date "+%Y
阅读全文
19.mysql优化建议二
摘要：一,架构层面 1.做主从复制 2.实现读写分离 3.分库分表 二.系统层面 1.增加内存 2.硬盘使用固态硬盘SSD 3.给磁盘做raid0或者raid5以增加磁盘的读写速度 4.可以重新挂载磁盘，并加上noatime参数，这样可以减少磁盘的I/O 三.mysql本身的优化 1.如果未配置主从同步，
阅读全文
18.docker mysql replication主从复制不一致全量恢复
摘要：需求：恢复replication主从，数据保持一致 1.对主库进行锁表，防止数据写入（在活跃度低的时候做） mysql> flush tables with read lock; 2.在主库进行数据库备份 docker exec -it mysql_zpc_master mysqldump -uhu
阅读全文
3.docker监控容器CPU状态，对CPU超过阈值的进行重启
摘要：#!/bin/bash #查看当前各个容器的CPU状态,并将结果覆盖输出到文件 docker stats --no-stream --format '{{.Container }} {{ .CPUPerc }}' > container.text; #获取文件行数 rowNumber=$(awk '
阅读全文
17.mysql原生按逗号拆分函数实现
摘要：SELECT DISTINCT id, substring_index( substring_index( a.replacedPartCodes, ',', b.help_topic_id + 1 ), ',',- 1 ) FROM supersession a JOIN mysql.help_t
阅读全文
16.MySQL数据库之mysql-5.7 show engine innodb status 详解，常用的地方一、死锁分析 二、innodb内存使用情况
摘要：一、show engine innodb status 简介： show engine innodb status 是mysql提供的一个用于查看innodb引擎时间信息的工具，就目前来说有两处比较 常用的地方一、死锁分析 二、innodb内存使用情况 二、通过show engine innodb
阅读全文
15.mysql优化建议一
摘要：硬件优化： 1.为提高数据库的IOPS性能，可以使用ssd或者pcie-ssd告诉磁盘设备 2.当数据库系统tps过高或者业务量较高时，一定要配置阵列卡，阵列级别选择REID1+0，而不要选择其他格式 3.在服务器的BIOS层面，设置CPU建议采用最大性能模式，选择performance per w
阅读全文
14.mysql主从复制之从库宕机处理
摘要：1.查看从库上mysql的错误日志，里面有记录主从挂掉时的binlog信息 2.有了binlog和position信息后，只需要重新在从库上进行change master to配置即可，配置后开启slave状态，没有报错 3.查看slave状态，发现slave已经正常了，开始进行延时数据恢复 详细：
阅读全文
13.mysql主从复制之主库宕机处理
摘要：1.确保所有的relay log全部更新完毕，在每个从库上执行show processlist 2.更新完毕后，登录所有从库查看master.info文件，对比选择pos最大的作为新的主库 3.然后登录这个新的主库，执行stop slave，进入主目录，删除master.info和relay-log
阅读全文
12.服务器卡顿问题修复：table_open_cache
摘要：使用top查看CPU，显示正常 使用iostat –x 1查看磁盘IO负载 %util接近100%，表明io请求过多，io系统满负载 考虑是不是查询过多， 发现table_open_cache=Open_tables，且opend_tables非常大 说明cache缓存太小，导致要频繁的open t
阅读全文
11.mysql去除字母数字外的所有特殊字符
摘要：1.5.7及以下版本 DROP FUNCTION IF EXISTS alphanum ;CREATE FUNCTION alphanum(prm_strInput varchar(255))RETURNS VARCHAR(255)DETERMINISTICBEGIN DECLARE i INT D
阅读全文
1.自定义拆分函数，查找任意位置字符
摘要：create function char_index(@string varchar(8000),@char varchar(64),@index int) --@string:待查找字符串，@index:查找位置 returns int as begin declare @i int,--当前找到
阅读全文
10.PXC 单写入节点 ProxySQL 配置说明
摘要：# PXC 单写入节点 ProxySQL 配置说明 ## 参考 1. [ProxySQL Read Write Split (HOWTO)](https://github.com/malongshuai/proxysql/wiki/ProxySQL-Read-Write-Split-(HOWTO))
阅读全文
7.ssh免密登录
摘要：1.mkdir -p ~/.ssh 2. 生成秘钥（一路回车默认即可） ssh-keygen 3.将公钥上传到远程服务器（单向，不需要私钥） ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.0.124 4.在远程服务器上重启 service sshd re
阅读全文
2.centos8安装docker，设置国内加速镜像及限制日志文件大小
摘要：yum install docker启动报错，错误如下：Failed to start docker.service: Unit docker.service not found.错误分析：CentOS 8 中安装 docker 和 Podman 冲突 1.查看是否安装 Podmanrpm -q p
阅读全文
6.磁盘空间不足建立软链接
摘要：需在没人的时候操作，先停服务 mkdir -p /data/logs/zpc_mall_console mv /home/workspace/logs/zpc_mall_console/* /data/logs/zpc_mall_console ln -s /data/logs/zpc_mall_c
阅读全文
1.安装kafka和zookeeper单机
摘要：#/bin/bash #1.docker pull zookeeper and kafka docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka #2.docker run zookeeper docker stop zo
阅读全文
1.安装fabio
摘要：docker pull fabiolb/fabio #/bin/sh docker stop fabio docker rm fabio docker run -idt \ --restart=always \ --net=host \ --name=fabio \ -e 'registry_con
阅读全文
1.安装consul
摘要：1.单节点 #/bin/bash #1.docker pull consul docker pull consul #2.create data and config dir mkdir -p /home/consul/{config,data} #3.docker run consul docke
阅读全文
4.每两天压缩一次日志zipLogs.sh
摘要：#!/bin/sh #日志查找路径 logFolders=("/home/workspace/logs/zpc_mall_console" "/home/workspace/logs/zpc_mall_messaging"); zipLogTime=`date "+%Y-%m-%d"`; #查找2天
阅读全文
3.cert(https)验证
摘要：cd /var/nginx mkdir cert rz上传相应的key和pem 5403683__xxxx.com.key 5403683__xxxx.com.pem
阅读全文
9.设置数据库默认编码集
摘要：show variables like "%character%"; set character_set_server=utf8mb4; 或者修改/etc/my.cnf或者/etc/mysql/my.cnf [client] default-character-set = utf8mb4 [mysq
阅读全文
8.docker迁移mysql(停机)
摘要：这几天遇到一个数据迁移的需求，要把老服务器的数据迁移到新的服务器上去，因为Mysql是放在Docker里面的，所以只需要迁移配置文件和数据卷即可，但是这过程中并不是一帆风顺的，特此记录一下。 从旧的服务器上查看Mysql容器的信息。 首先使用docker ps来查看正在运行的容器，如果你的容器尚未运
阅读全文
1.docker安装jenkins
摘要：#/bin/bash #1.docker pull jenkins docker pull jenkins #2.docker run jenkins docker run -idt \ --restart=always \ --name jenkins \ -p 8080:8080 \ -p 50
阅读全文
1.安装kafka-manager，nginx80端口访问
摘要：docker stop kafka-manager docker rm kafka-manager docker run -idt \ --name kafka-manager \ -p 9000:9000 \ --restart=always \ -e ZK_HOSTS="10.10.10.10:
阅读全文
2.nginx添加gzip配置，提高页面访问速度
摘要：添加gzip配置 gzip on; gzip_buffers 32 4K; gzip_comp_level 6; gzip_min_length 100; gzip_types application/javascript text/css text/xml application/json tex
阅读全文
1.docker安装redis
摘要：#/bin/bash #1.docker pull redis docker pull redis #2.create redis date dir mkdir -p /home/redis/data #3.download redis.conf from online cd /home/redis
阅读全文
3.1.squid正向代理服务器
摘要：1.squid-server需要两个IP，一个公网一个私网 2.client端只需要和squid-server能互通就行，不需要指定gw和dns 3.client端需要在浏览器上设置代理服务器端IP和端口 4.squid-server可以上外网（要能访问2.2.2.2），client不能上外网，目的
阅读全文
3.squid内网服务器上网(正向代理)
摘要：Squid Cache（简称为Squid）是HTTP代理服务器软件。Squid用途广泛，可以作为缓存服务器，可以过滤流量帮助网络安全，也可以作为代理服务器链中的一环，向上级代理转发数据或直接连接互联网。Squid程序在Unix一类系统运行。由于它是开源软件，有网站修改Squid的源代码，编译为原生W
阅读全文
2.每月第一天压缩上个月的日志
摘要：#!/bin/sh #日志查找路径 logFolders=("/home/workspace/logs/zpc_mall_payment"); zipLogTime=`date -d "$(date +%Y%m)01 last month" +%Y-%m`; #查找2天前的日志 for logFol
阅读全文
7.mysql定时删除60天前的数据
摘要：1.查看even_schedule是否开启，如果没开启，使用下面命令开启，阿里云服务器需要在管理后台开启 SET GLOBAL event_scheduler=ON; 2.创建PROCEDURE存储过程 DROP PROCEDURE IF EXISTS KeepMessageDatasWith60D
阅读全文
