Mysql分库分表导出导入和数据量统计测试
需求:添加创建了分库分表后,业务可能将数据已经写入,但未来得及接入到otter汇总库。接入汇总库前需要初始化这部分数据。
1.导出

ip_port_list=(5.5.5.101:3306 5.5.5.102:3306) len=${#ip_port_list[@]} for ((i=0;i<=$len-1;i++)) do db_ip=`echo ${ip_port_list[i]} | awk -F[:] '{print $1}'` db_port=`echo ${ip_port_list[i]} | awk -F[:] '{print $2}'` mysql -h$db_ip -P$db_port -uroot -proot 2>/dev/null -Ns>test_shard_${db_ip}_${db_port} <<EOF select table_schema,table_name from information_schema.TABLES where table_schema like 'test_shard_%' and table_name like 'test_%'; EOF cat test_shard_${db_ip}_${db_port} |while read line do schema_name=`echo $line | awk '{print $1}'` table_name=`echo $line | awk '{print $2}'` echo `date "+%Y-%m-%d %H:%M:%S"` "start dump ${schema_name}_${table_name}..."| tee -a all_tables.log mysqldump -h$db_ip -P$db_port -uroot -proot 2>/dev/null --databases ${schema_name} --tables ${table_name} -t -c --single-transaction > $table_name.sql sed -i "s/$table_name/test/g" $table_name.sql done done
2.导入

1 ls -l *.sql |awk '{print $9}' | while read line 2 do 3 mysql -h5.5.5.101 -uroot -proot -P3306 test < $line 4 done
3.数据量统计

ip_port_list=(5.5.5.101:3306 5.5.5.102:3306) len=${#ip_port_list[@]} sum=0 for ((i=0;i<=$len-1;i++)) do db_ip=`echo ${ip_port_list[i]} | awk -F[:] '{print $1}'` db_port=`echo ${ip_port_list[i]} | awk -F[:] '{print $2}'` mysql -h$db_ip -P$db_port -uroot -proot 2>/dev/null -Ns>test_shard_${db_ip}_${db_port} <<EOF select concat(table_schema,'|',table_name) from information_schema.TABLES where table_schema like 'test_shard_%' and table_name like 'test_%'; EOF for line in `cat test_shard_${db_ip}_${db_port}` do schema_name=`echo $line | awk -F['|'] '{print $1}'` table_name=`echo $line | awk -F['|'] '{print $2}'` query_sql="select count(*) from $schema_name.$table_name;" cnt=$( echo "$query_sql" | mysql -h$db_ip -uroot -proot -P$db_port 2>/dev/null -s) echo "$schema_name.$table_name have $cnt rows." let "sum=sum+cnt" #rm -rf test_shard_${db_ip}_${db_port} done done echo $sum
欢迎多交流(QQ:616793474/329003748),谢谢!
【推荐】还在用 ECharts 开发大屏?试试这款永久免费的开源 BI 工具!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 对象命名为何需要避免'-er'和'-or'后缀
· SQL Server如何跟踪自动统计信息更新?
· AI与.NET技术实操系列:使用Catalyst进行自然语言处理
· 分享一个我遇到过的“量子力学”级别的BUG。
· Linux系列:如何调试 malloc 的底层源码
· 对象命名为何需要避免'-er'和'-or'后缀
· JDK 24 发布,新特性解读!
· C# 中比较实用的关键字,基础高频面试题!
· .NET 10 Preview 2 增强了 Blazor 和.NET MAUI
· SQL Server如何跟踪自动统计信息更新?