该文被密码保护。 阅读全文
posted @ 2018-09-10 19:41
屠魔的少年
阅读(603)
评论(0)
推荐(1)
摘要：
社区版优点1、完全免费。2、完全开源。3、社区活跃。 社区版缺点1、版本管理较麻烦。2、缺乏部署、运维等工具。3、技术问题无人兜底。 发行版优点1、版本管理清晰2、兼容性、稳定性或有提升3、工具丰富4、可购买技术服务 发行版缺点1、企业版要钱2、部分或全部不开源3、部分产品无社区生态可言 阅读全文
posted @ 2025-06-29 00:43
屠魔的少年
阅读(2)
评论(0)
推荐(0)
摘要：
以下参数讲解以社区版2.6.0的参数名和默认值为准（配置文件为：hdfs-default.xml / hdfs-site.xml ） MapReduce 参考链接：http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop- 阅读全文
posted @ 2025-06-21 22:12
屠魔的少年
阅读(11)
评论(0)
推荐(0)
摘要：
我们只关注MRv2（MapReduce on YARN）涉及的进程。MRv1的进程管理 （jobtracker，tasktracker）已经过时，我们不需要了解。 YARN进程管理中，NodeManager（NM）的进程比较次要，死掉只需处理 完问题再拉起即可。 ResourceManager（RM 阅读全文
posted @ 2025-06-21 22:12
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
YARN的设计思想： 1、当Hadoop集群的节点数很多时（一般1000个以上），MRv1机制就面临着性能瓶颈，因为jobtracker的负担过重，且是系统的一个单点。 于是在Hadoop2.x中引入了YARN（Yet Another Resource Negotiator）。 2、YARN将job 阅读全文
posted @ 2025-06-21 22:11
屠魔的少年
阅读(6)
评论(0)
推荐(0)
摘要：
Apache Spark是一个统一的计算引擎和一组用于计算机集群上并行数据处理的库。 目前，Spark是这个领域中最活跃的开源引擎，它是任何对大数据感兴趣的开发人员或数据科学家的标准工具。 Spark支持多种常用编程语言（Python、Java、Scala和R）， 包含为不同的任务设计的库，从SQL 阅读全文
posted @ 2025-06-21 22:11
屠魔的少年
阅读(2)
评论(0)
推荐(0)
摘要：
MapReduce是Google提出的一种并行计算框架： Map：映射，对一些独立元素组成的列表的每一个元素进行指定的操作。每个元素都是被独立操作的， 而原始列表没有被更改。Map操作是可以高度并行的，这对高性能应用以及并行计算领域的需求非常有用。 Reduce：化简，对一个列表的元素进行适当的合并 阅读全文
posted @ 2025-06-21 22:10
屠魔的少年
阅读(2)
评论(0)
推荐(0)
摘要：
Impala简介及架构： 1、Impala直接在Apache Hadoop数据中提供快速、交互式SQL查询，这些数据存储在HDFS、HBase或Amazon S3中。 除了使用相同的统一存储平台之外，Impala还与Hive使用相同的元数据、SQL语法（Hive SQL）、ODBC驱动程序和用户界面 阅读全文
posted @ 2025-06-21 22:09
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
HDFS是Hadoop默认的分布式文件系统，具有以下特点： 1、容忍硬件故障： 将硬件故障视为常态。HDFS通过多副本机制，允许个别节点发生故障而不至于丢失数据，从而可以运行在商用硬件上。 2、流式数据存取： 与常见的文件系统不同，HDFS上运行的应用通常需要对数据集的流式存取。 因而HDFS被设计 阅读全文
posted @ 2025-06-21 22:07
屠魔的少年
阅读(22)
评论(0)
推荐(0)
摘要：
以下参数讲解以社区版2.6.0的参数名和默认值为准 配置文件为： hdfs-default.xml hdfs-site.xml 链接地址：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default 阅读全文
posted @ 2025-06-21 22:07
屠魔的少年
阅读(6)
评论(0)
推荐(0)
摘要：
容量管理 理解HDFS的数据都是以普通文件格式写到DN的本地磁盘。HDFS的已使用容量有多种查看方式，比如NameNode页面（默认端口50070的）、hdfs dfs命令、以及集群管理器页面（如Cloudera CM）。 HDFS总使用容量在80％以下是安全的，超过就需要人工干预。另外也要理解，H 阅读全文
posted @ 2025-06-21 22:06
屠魔的少年
阅读(0)
评论(0)
推荐(0)
摘要：
Flume是一个分布式、可靠、高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据； 同时，Flume提供对数据进行简单处理，并写到各种数据接收方。 特性 1、高可靠性。Flume提供了end to end的数据可靠性机制 2、易于扩展。Agent为分布式架构，可水平扩展 3、易于 阅读全文
posted @ 2025-06-21 22:03
屠魔的少年
阅读(3)
评论(0)
推荐(0)
摘要：
Apache Flink是一种为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。 Storm（包括Storm Trident）和SparkStreaming（StructuredStreaming）也是两种著名的流处理框架。 Storm在设计之处是基于每条消息一次的模式的，因此 阅读全文
posted @ 2025-06-21 22:03
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
Kafka介绍： 1、Kafka以集群形式运行在一到多台服务器上，每个Kafka工作进程称为broker 2、Kafka集群对记录的流进行分类存储，这种分类称为主题（topic） 3、每条记录由键、值、时间戳组成 Kafka有三种关键能力： 1、发布和订阅记录流。在这个方面其等于一个消息队列或企业级 阅读全文
posted @ 2025-06-21 21:44
屠魔的少年
阅读(8)
评论(0)
推荐(0)
摘要：
查看日志是否开启 show variables like 'general_log'; 看看日志文件保存位置 show variables like 'general_log_file'; 看看日志输出类型 table或file show variables like 'log_output'; 开 阅读全文
posted @ 2025-06-21 21:37
屠魔的少年
阅读(2)
评论(0)
推荐(0)
摘要：
背景 一个业务系统刚迁移完，笔者刚回到家，开发那边就遇到了业务报错”Column ‘create_time’ cannot be null”，从字面意思可以理解为表字段’create_time’想插入null值，但报错该字段不能为null。由此引发了对explicit_defaults_for_ti 阅读全文
posted @ 2025-06-21 21:22
屠魔的少年
阅读(4)
评论(0)
推荐(0)
摘要：
1问题现象 MySQL 5.7.34 升级到 8.0.32 后部分查询语句报错如下： ERROR 1267 (HY000): Illegal mix of collations (utf8mb4_general_ci,IMPLICIT) and (utf8mb4_0900_ai_ci,IMPLICI 阅读全文
posted @ 2025-06-21 21:18
屠魔的少年
阅读(2)
评论(0)
推荐(0)
摘要：
我们可以看到在应用程序中使用了多少未提交的事务吗？ 可以看到MySQL服务器当前正在运行多少未提交的事务。 根据MySQL的版本，有几种选择。这些在下面描述。 The INFORMATION_SCHEMA INNODB_TRX Table In MySQL 5.5 And Later 查找活动Inn 阅读全文
posted @ 2025-06-21 20:27
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
官方解释： https://dev.mysql.com/doc/refman/5.7/en/downgrade-paths.html Downgrade from MySQL 5.7 to 5.6 is supported using the logical downgrade method. ht 阅读全文
posted @ 2025-06-21 20:24
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
注意事项： 验证插件 sql_mode MySQL 8.0 Group by默认不排序，切换后可能会导致业务返回的结果不对。 Datetime类型字段的值，不能等于空字符串，否则直接报错。 不建议直接使用MySQL 8.0二进制文件替换的方式进行直接升级。 做好数据同步校验。 在测试环境先做好兼容性 阅读全文
posted @ 2025-06-21 20:21
屠魔的少年
阅读(3)
评论(0)
推荐(0)
摘要：
更新之前的需要了解的事项 了解MySQL在升级过程中会做什么操作 对mysql元数据库做更新 数据字典表 系统表(如权限,存储过程,触发器,函数表等) 在升级之前需要对数据库做一个完整性备份 MySQL不支持物理降级(但可以用mysqldump逻辑降级),当升级失败需要有备份进行数据恢复 了解升级的 阅读全文
posted @ 2025-06-21 20:20
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
1、安装新版本软件在不同目录 /usr/local/mysql5742/ 2、停原库（5.6.51） 快速关库功能关闭(优雅关闭、干净的关闭) /usr/local/mysql5651/bin/mysql -uroot -pchengce243 -S /data/mysql/3306/mysql.s 阅读全文
posted @ 2025-06-21 20:12
屠魔的少年
阅读(0)
评论(0)
推荐(0)
摘要：
将5.7 升级至 8.0注意事项 （1）8.0以后可以调用mysql-shell工具，做升级之前的预检查。 mysqlsh -e "util.checkForServerUpgrade()" （2）升级时不再需要手工 mysql_upgrade （3）限制：升级前必须要备份。否则无法回退。 1、下载 阅读全文
posted @ 2025-06-21 20:08
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
方法一、INPLACE就地升级 在一台服务器上，原版本升级到新版本。 风险较大。 除非是主从环境。 升级过程 a. 安装新版本软件 b. 关闭原数据库业务（挂维护页） innodb_fast_shutdown=0 备份原数据库数据（冷备） c. 使用新版本软件 “挂” 旧版本数据启动(--skip- 阅读全文
posted @ 2025-06-21 20:07
屠魔的少年
阅读(4)
评论(0)
推荐(0)
摘要：
方法1、进入mysql终端执行shutdown命令可以关闭mysql服务 mysql> shutdown; 方法2、使用mysqladmin关闭 mysqladmin shutdown -uroot -p -S /data/dbdata6033/mysql.sock 方法3、 kill -0 pid 阅读全文
posted @ 2025-06-21 20:03
屠魔的少年
阅读(4)
评论(0)
推荐(0)
摘要：
编辑配置文件 /etc/my.cnf [client] port=3306 socket=/tmp/mysql.sock [mysqld_multi] log = /data/mysql/mysqld_multi.log [mysqld] user=mysql basedir=/usr/local/ 阅读全文
posted @ 2025-06-21 03:25
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
配置MySQL、Redis、MongoDB开机自启动： 一、如果是docker 先设置docker开机自启动： systemctl enable docker 再设置容器开机自启动： docker update --restart=always mysql6033 二、如果是 systemctl s 阅读全文
posted @ 2025-06-21 03:15
屠魔的少年
阅读(20)
评论(0)
推荐(0)
摘要：
# 说明： # 1.需要安装bc 软件 ： yum install -y bc # 定义变量 backupDir="/data/DB" # 备份文件存放的路径 todayDateYMD=$(date +%Y%m%d) # MySQL备份脚本中定义的当天时间， 第一部分时间：年月日 yesterday 阅读全文
posted @ 2025-06-21 03:01
屠魔的少年
阅读(3)
评论(0)
推荐(0)
摘要：
#!/bin/bash source /etc/profile shellpath=$(cd "$(dirname "$0")";pwd) bakdir='/dbbackup/mysqlbak/databackup' week_day=$(date +%w) month_day=$(date +%d 阅读全文
posted @ 2025-06-21 02:59
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
一、liunx操作系统层面 1、整体cpu负载的%user最好不长期超过20%（若%user太高，有极大可能性是索引使用不当） 2、整体cpu负载的%iowat最好不长期超过10%（确认I/O子系统是否有明显瓶颈） 3、整体cpu负载的%idle最好保持在70%以上（让CPU保持低负载） 4、关注各 阅读全文
posted @ 2025-06-21 02:58
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
源库(华为云)： rds-gray-薪商城 langraymall.internal.cn-south-1.mysql.rds.myhuaweicloud.com 目标库（自建数据库）： gray-xsc-mysql-slave 10.22.50.199L3307 步骤： 1、主库控制台设置RDS 阅读全文
posted @ 2025-06-21 02:56
屠魔的少年
阅读(2)
评论(0)
推荐(0)
摘要：
1. 基础规范 · 数据库及表统一使用UTF8mb4字符集，特殊需求提前跟DBA评审。 · 数据库及表统一使用innodb存储引擎。 · 统一使用mysql隔离级别 REPEATABLE-READ。 · 创建表使用row_format=Dynamic 格式。 · 禁止使用存储过程和触发器、视图、自定 阅读全文
posted @ 2025-06-21 02:52
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
运维规范 1、不用root运行服务端进程。 2、文件目录权限隔离。 3、严控公网访问。 4、严控MySQL授权。 5、杜绝弱密码。 6、从库设置read only。 7、线上重要操作必须备份。 8、善用screen -S db 远程操作，防止重要操作网络断开。 9、mysql_config_edit 阅读全文
posted @ 2025-06-21 02:49
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
1.假如变量参数在column_list.txt中 cat column_list.txt 1111 1111 2222 2222 3333 4444 2.假如要生成批量查询test表中id等于上述列表值的select语句。可以使用如下命令： cat column_list.txt | awk '{ 阅读全文
posted @ 2025-06-21 02:48
屠魔的少年
阅读(3)
评论(0)
推荐(0)
摘要：
找到MySQL里到底谁消耗了更多内存： select event_name,SUM_NUMBER_OF_BYTES_ALLOC from performance_schema.memory_summary_global_by_event_name order by SUM_NUMBER_OF_BYT 阅读全文
posted @ 2025-06-21 02:45
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
A:192.168.13.12 (原主库) B:192.168.13.13 (空实例) binlog server ，需要恢复的binlog在上面 C:192.168.13.14 (从库用于恢复全备) A 是坏的库 现在用 B 和C 去恢复 用B去伪装A库 所以A和C的 server-id uuid 阅读全文
posted @ 2025-06-21 02:28
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
背景 近日，客户反馈某生产业务系统凌晨的物理备份都失败了（一主二从的集群，仅在两个从库上做 Xtrabackup 全备，主库不参与备份），需排查备份失败的原因。 案例分析 由于客户使用的是我司爱可生的 DMP 数据库管理平台，当备份失败时，在备份目录中会写入一个 FAIL 的标志文件，然后回滚掉残留 阅读全文
posted @ 2025-06-21 02:16
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
基于 XtraBackup 搭建从库。 整个过程其实比较简单，无非是备份还原。唯一需要注意的是建立复制时位置点的选择，包括： 在基于位置点的复制中，CHANGE MASTER TO 语句中 MASTER_LOG_FILE 和 MASTER_LOG_POS 的选择。 在 GTID 复制中，在执行 CH 阅读全文
posted @ 2025-06-21 02:12
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
#!/bin/bash # 10 23 * * * /bin/bash /data/script/backup_mysqldump.sh BDATE=`date +%Y%m%d%H%M%S` BPATH=/data/backup LOGFILE=${BPATH}/log_${BDATE}.log m 阅读全文
posted @ 2025-06-21 02:08
屠魔的少年
阅读(1)
评论(0)
推荐(0)
摘要：
RDS在主库上执行备份会报错，报错如下： ** (mydumper:56288): CRITICAL **: Couldn't acquire global lock, snapshots will not be consistent: Access denied; you need (at lea 阅读全文
posted @ 2025-06-21 01:56
屠魔的少年
阅读(2)
评论(0)
推荐(0)
摘要：
ERROR: Error in Log_event::read_log_event(): 'Found invalid event in binary log', data_len: 31, event_type: 35 [root@testdb mysql]# mysqlbinlog --base 阅读全文
posted @ 2025-06-21 01:56
屠魔的少年
阅读(6)
评论(0)
推荐(0)
浙公网安备 33010602011771号