04 2023 档案
摘要:###1、HBase定义 HBase(Hadoop Database)是一个分布式、可扩展的NoSQL数据库。基于Big Table,为Hadoop框架当中的结构化数据提供存储服务,是面向列的分布式数据库。这一点与HDFS是不一样的,HDFS是分布式文件系统,管理的是存放在多个硬盘上的数据文件,不支
阅读全文
摘要:###【Hadoop-HDFS压测】针对HDFS进行读写性能测试 1)测试工具 2)写入数据测试 3)读取数据测试 4)清除数据 ####1)测试工具 Hadoop自身集成的工具包:hadoop-mapreduce-client-jobclient-3.1.1.jar 注意: 1、如果是Apache
阅读全文
摘要:MySQL 传统的主从复制方式使用 master_log_files 和 master_log_pos 两个参数来确定复制位点。当出现复制错误时,可以设置跳过出错的事务来恢复同步,MySQL 提供了 sql_slave_skip_counter 参数来实现此功能。使用方法如下: root@(none
阅读全文
摘要:###问题描述: 使用innobackupex 搭建主从的步骤如下: 1.主库使用 innobackupex 备份并 apply-log 2.将备份文件拷贝至从库,从库清空datadir目录,并使用 innobackupex 进行 copy-back 3.从库根据备份目录中的 xtrabackup_
阅读全文
摘要:###GTID: 全称:global transaction identifier ###何时产生: 当一个事务提交时,就会分配一个GTID(前提是事务有写入到binlog),GTID单调递增且连续。 ###GTID格式: GTID = source_id:transaction_id 其中 sou
阅读全文
摘要:##GTID主从异常报错1236 ast_IO_Errno: 1236 Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'The slave is connecting using
阅读全文
摘要:###MySQL在5.7之后才支持多源复制,之前介绍过官方文档。 原理:多源复制加入了一个叫做Channel的概念, 每一个Channel都是一个独立的Slave,都有一个IO_THREAD和SQL_THREAD。原理和普通复制一样。我们只需要对每一个Master执行Change Master 语句
阅读全文
摘要:###在线将GTID模式复制改为传统模式复制 ####1、关闭基于GTID模式的复制,调整为传统复制; STOP SLAVE; show slave status\G; ##获取其中的 ##Relay_Master_Log_File: mysql-log-bin.000004 ##Exec_Mast
阅读全文
摘要:gtid_mode参数各个值的含义: OFF:生成的是匿名事务,从库只能应用匿名事务 OFF_PERMISSIVE:生成的是匿名事务,从库可以应用匿名事务和GTID事务 ON_PERMISSIVE:生成的是GTID事务,从库可以应用匿名事务和GTID事务 ON:生成的是GTID事务,从库只能应用GT
阅读全文
摘要:###问题背景: 因为主机名配置成主机别名regionserver状态异常,所以需要替换ambari已创建的主机hostname名称为主机名。 别名避免带“.” ambari源码服务会找带“.”的主机名去分发服务通信,别名加“.”它会优先使用别名 导致hbase regionserver状态异常显示
阅读全文