博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

必须是MM架构,而且一台主库M1是完好无损的,一台主库M2可以根据M1主库来进行重建;如果MS架构,自己可以稍微做一下脚本修改动作,也能使用,架构如下图所示:




3  总体思路,建立主脚本a_build_rep.sh

思路分为13个步骤,如a_build_rep.sh脚本中的备注 

  1. #!/bin/bash  
  2. set -x  
  3. set -e  
  4. set -u  
  5.   
  6. #(1)准备好目录以及全局变量  
  7. BACKUP_FOLDER=/mysqldata/shared/backup2  
  8. TEMP_SETUP_FOLDER=/tmp/sharding_setup_1  
  9. MYSQL_EXEC=/opt/mysql/product/mysql/bin/mysql  
  10.   
  11. #(2)设置参数,$1是要修复的M2库,$2是正在运行良好的M1库  
  12. db1=$2  
  13. db2=$1  
  14.   
  15.   
  16. #(3)在这里设置好一些所必用的环境变量,比如备份用户,备份用户密码,以及复制帐号密码,甚至一些super帐号  
  17.  BACKUP_USER="backupuser"  
  18.  BACKUP_PASSWORD="#xx$"  
  19.  AGENT_PASSWORD='#xx$'  
  20.  REPLICATION_USER=replication  
  21.  REPLICATION_PASSWORD='#xx$'  
  22.  REPLICA_PASSWORD='#xx$'  
  23.  MONITOR_PASSWORD='#xx$'  
  24.  WRITER_ETH='eth0'  
  25.  SUPER_USER=backupuser  
  26.  SUPER_PASSWORD='#xx$'  
  27.   
  28. #(4)由于磁盘空间所限,建立这些目录,如果目录已经存在,则清空这些目录。  
  29. ssh -t $db1 "rm -rf $TEMP_SETUP_FOLDER && mkdir -p $TEMP_SETUP_FOLDER && chmod 777 $TEMP_SETUP_FOLDER"  
  30. ssh -t $db2 "rm -rf $TEMP_SETUP_FOLDER && mkdir -p $TEMP_SETUP_FOLDER && chmod 777 $TEMP_SETUP_FOLDER"  
  31.   
  32.   
  33. #(5)将在线备份脚本 create_hot_backup.sh copy到即将要进行在线备份的M1库上面,并且调用此脚本进行在线备份,此备份用来去另一个M2库上进行恢复。  
  34. echo "Taking hotbackup on db1..."  
  35. scp create_hot_backup.sh $db1:$TEMP_SETUP_FOLDER/create_hot_backup.sh  
  36.   
  37.   
  38. ssh -t $db1 "sudo -u mysql mkdir -p $BACKUP_FOLDER"  
  39. ssh -t $db1 "sudo -i -u mysql $TEMP_SETUP_FOLDER/create_hot_backup.sh '$BACKUP_FOLDER' '$BACKUP_USER' '$BACKUP_PASSWORD' N Y"  
  40.   
  41. #(6)停止M2的MySQL服务  
  42. echo "Hotbackup completed. Now restore the hotbackup on db2..."  
  43. ssh -t $db2 "sudo /etc/init.d/mysql stop"  
  44. #(7)将restore_hot_backup.sh脚本copy到M2库上,并调用此脚本在M2库上面进行恢复操作。  
  45. scp restore_hot_backup.sh $db2:$TEMP_SETUP_FOLDER/restore_hot_backup.sh  
  46. ssh -t $db2 "sudo -i -u mysql $TEMP_SETUP_FOLDER/restore_hot_backup.sh '$BACKUP_FOLDER' '$BACKUP_USER' '$BACKUP_PASSWORD' '$TEMP_SETUP_FOLDER' Y"  
  47. #(8)恢复完,启动M2库。  
  48. ssh -t $db2 "sudo /etc/init.d/mysql start"  
  49. echo "Restore completed. Now rebuild replication between db1 and db2..."  
  50. #(9)建立M2上面的复制功能,M1为master,M2为slave;  
  51. echo "Setup replication from db1 to db2"  
  52. echo "Setup replication from db1 to db2"  
  53. scp $db2:$TEMP_SETUP_FOLDER/xtrabackup_binlog_info.master xtrabackup_binlog_info.db1  
  54. binlog_filename=`cat xtrabackup_binlog_info.db1 | awk '{print $1}'`  
  55. binlog_pos=`cat xtrabackup_binlog_info.db1 | awk '{print $2}'`  
  56. $MYSQL_EXEC -h$db2 -ummm_agent -p"$AGENT_PASSWORD" -e "SLAVE STOP;"  
  57. $MYSQL_EXEC -h$db2 -ummm_agent -p"$AGENT_PASSWORD" -e "CHANGE MASTER TO MASTER_HOST='$db1', MASTER_PORT=3306, MASTER_USER='replication', MASTER_PASSWORD='$REPLICATION_PASSWORD', MASTER_LOG_FILE='$binlog_filename', MASTER_LOG_POS=$binlog_pos;"  
  58. $MYSQL_EXEC -h$db2 -ummm_agent -p"$AGENT_PASSWORD" -e "SLAVE START;"  
  59.   
  60. #(10)Check M2库的复制功能状态,是否搭建成功  
  61. echo "Check db2 replication status."  
  62. if ! $MYSQL_EXEC -h$db2 -ummm_agent -p"$AGENT_PASSWORD" -e "SHOW SLAVE STATUS\G" | grep "Slave_SQL_Running: Yes"  
  63. then  
  64.     echo "[ERROR] Cannot start slave on db2!"  
  65.     exit -1  
  66. fi  
  67.   
  68. #(11)建立M1上面的复制功能,M2为master,M1为slave;  
  69. echo "Setup replication from db2 to db1"  
  70. ./build_replication.sh $db2 $db1  
  71.   
  72. #(12)Check M1库的复制功能状态,是否搭建成功  
  73. echo "Check db1 replication status."  
  74. if ! $MYSQL_EXEC -h$db1 -ummm_agent -p"$AGENT_PASSWORD" -e "SHOW SLAVE STATUS\G" | grep "Slave_SQL_Running: Yes"  
  75. then  
  76.     echo "[ERROR] Cannot start slave on db1!"  
  77.     exit -1  
  78. fi  
  79.   
  80. #(13)清除临时目录的备份文件,释放磁盘空间  
  81. echo "Clean up the shared storage folder and tmp folder."  
  82. ssh -t $db1 "rm -rf $TEMP_SETUP_FOLDER"  
  83. ssh -t $db2 "rm -rf $TEMP_SETUP_FOLDER"  
  84. ssh -t $db1 "sudo -u mysql rm -rf $BACKUP_FOLDER"  
  85.   
  86.   
  87. echo 'Rebuild secondary done!'  



4 分脚本(1),M1库上的在线备份脚本create_hot_backup.sh详情

  1. #!/bin/bash  
  2. set -x  
  3. set -e  
  4.   
  5. # !!! This file need to be run in mysql !!!  
  6. #(1)设置一些基本参数,$1:备份文件;$2:备份用户名;$3:备份用户名密码;$4:是否需要安全模式备份; $5:是否需要rsync信息  
  7. BACKUP_FOLDER=$1  
  8. HOTBACKUP_USER=$2  
  9. HOTBACKUP_PASSWORD=$3  
  10. NEED_SAFE_SLAVE=$4  
  11. NEED_RSYNC=$5  
  12.   
  13. #(2)参数验证,如果需要,则在接下来的备份命令中加上--safe-slave-backup或者--rsync参数  
  14. INNOBACKUP_OPT=""  
  15. if [[ $NEED_SAFE_SLAVE == "Y" ]]  
  16. then  
  17.     INNOBACKUP_OPT=$INNOBACKUP_OPT" --safe-slave-backup"  
  18. fi  
  19.   
  20. if [[ $NEED_RSYNC == "Y" ]]  
  21. then  
  22.     INNOBACKUP_OPT=$INNOBACKUP_OPT" --rsync"  
  23. fi  
  24.   
  25. #(3)开始执行备份命令  
  26. echo "Run xtrabackup to take hotbackup..."  
  27. export MYSQL_HOME=/opt/mysql/product/mysql  
  28. innobackupex $INNOBACKUP_OPT --user=$HOTBACKUP_USER --password=$HOTBACKUP_PASSWORD $BACKUP_FOLDER  




5 分脚本(2)restore_hot_backup.sh,在M2库上进行数据恢复操作。

  1. #!/bin/bash  
  2. set -x  
  3. set -e  
  4.   
  5. #(1)$1:备份数据存放的目录;$2:恢复用户;$3:恢复用户密码; $4:临时文件夹目录; $5:是否需要resync;  
  6.   
  7. SHARED_STORAGE_PATH=$1  
  8. HOTBACKUP_USER=$2  
  9. HOTBACKUP_PASSWORD=$3  
  10. TEMP_SETUP_FOLDER=$4  
  11. NEED_RSYNC=$5  
  12.   
  13. #(2)是否需要加上resync参数  
  14. INNOBACKUP_OPT=""  
  15. if [[ $NEED_RSYNC == "Y" ]]  
  16. then  
  17.     INNOBACKUP_OPT="--rsync"  
  18. fi  
  19.   
  20. #(3)把MYSQL_HOME放入环境变量中  
  21. export MYSQL_HOME=/opt/mysql/product/mysql  
  22.   
  23. #(4)如果目录存在的话,删除这些数据库目录下的旧文件  
  24. echo "Delete existing mysql instance..."  
  25. rm -rf /mysqldata/data  
  26. rm -rf /mysqldata/shared/restore  
  27. rm -rf /mysqldata/binlog/*  
  28. rm -rf /mysqldata/iblogs/*  
  29.   
  30. #(5)开始准备数据目录以及备份数据目录,如今不存在就新建,并且赋予linux系统帐号mysql的操作权限。  
  31. echo "Apply and copy back backup files..."  
  32. mkdir -p /mysqldata/data && chown -R mysql:mysql /mysqldata/data && chmod 700 /mysqldata/data  
  33. mkdir -p /mysqldata/shared/restore  
  34. backup_folder=$(ls -1 $SHARED_STORAGE_PATH | sort -rn | head -n1) #这个ls的找最新生成的文件的命令很实用,可以借鉴。  
  35. # (6)如果为了安全起见可以备份文件数据目录copy到指定的恢复临时目录,然后在临时目录进行--apply-log以及--copy-back等操 作,但是我为了效率,就去掉了copy的时间(copy时间大概需要1小时左右),直接在原来的备份数据目录进行--apply-log以及 --copy-back操作  
  36.   
  37. # cp -r $SHARED_STORAGE_PATH/${backup_folder}/* /mysqldata/shared/restore/  
  38. # innobackupex --user=$HOTBACKUP_USER --password=$HOTBACKUP_PASSWORD --ibbackup xtrabackup --apply-log /mysqldata/shared/restore/  
  39. # innobackupex --user=$HOTBACKUP_USER --password=$HOTBACKUP_PASSWORD $INNOBACKUP_OPT --copy-back /mysqldata/shared/restore/  
  40.   
  41. innobackupex --user=$HOTBACKUP_USER --password=$HOTBACKUP_PASSWORD --ibbackup xtrabackup --apply-log $SHARED_STORAGE_PATH/${backup_folder}/  
  42. innobackupex --user=$HOTBACKUP_USER --password=$HOTBACKUP_PASSWORD $INNOBACKUP_OPT --copy-back $SHARED_STORAGE_PATH/${backup_folder}/  
  43.   
  44. #(7)将原来的备份中的复制点信息copy到临时目录下,并赋予对copy后的文件赋予相应的权限。  
  45. cp -f $SHARED_STORAGE_PATH/${backup_folder}/xtrabackup_binlog_info $TEMP_SETUP_FOLDER/xtrabackup_binlog_info.master  
  46. chmod 644 $TEMP_SETUP_FOLDER/xtrabackup_binlog_info.master  
  47.   
  48. #(8)恢复成功后,删除原来的临时目录的备份数据,释放磁盘空间,如果你磁盘空间足够,这一步可以省略。  
  49. echo "Remove backup files..."  
  50. rm -rf $SHARED_STORAGE_PATH/${backup_folder}/  


6 搭建M1上面的复制,M2为master,M1为slave,MM架构。

  1. #!/bin/sh  
  2. set -x  
  3. set -u  
  4. set -e  
  5. #(1)$1:master主库服务器主机名或者IP地址; $2:slave主库服务器主机名或者IP地址;  
  6. MASTER_SERVER=$1  
  7. SLAVE_SERVER=$2  
  8.   
  9. MYSQL_CNF_DIR='/opt/mysql/product/mysql/etc'  
  10. MYSQL_EXEC='/opt/mysql/product/mysql/bin/mysql'  
  11.   
  12. #(2)从$1主库上面获取复制点信息  
  13. master_file=$(ssh -t $MASTER_SERVER "$MYSQL_EXEC -u$SUPER_USER -p$SUPER_PASSWORD -e 'SHOW MASTER STATUS\G'" | grep "File" | awk '{print $2}')  
  14. master_file=$(sed -e 's/[\r\n]//' <<<"$master_file")  
  15. master_pos=$(ssh -t $MASTER_SERVER "$MYSQL_EXEC -u$SUPER_USER -p$SUPER_PASSWORD -e 'SHOW MASTER STATUS\G'" | grep "Position" | awk '{print $2}')  
  16. master_pos=$(sed -e 's/[\r\n]//' <<<"$master_pos")  
  17.   
  18. #(3)执行搭建复制sql命令操作:  
  19. ssh -t $SLAVE_SERVER "$MYSQL_EXEC -u$SUPER_USER -p$SUPER_PASSWORD -e \"  
  20. STOP SLAVE;  
  21. RESET SLAVE;  
  22. CHANGE MASTER TO master_host='$MASTER_SERVER', master_port=3306, master_user='$REPLICATION_USER',  
  23.     master_password='$REPLICATION_PASSWORD', master_log_file='$master_file', master_log_pos=$master_pos;  
  24. START SLAVE;  
  25. \""  




7  执行操作

在根目录下,执行 

[root@xx-control xx]# nohup /home/cc/a_build_rep.sh m2.xx.com m1-.xx.com .  >  rebuild.log &,放在后台执行,使用nohup以防止屏幕突然失效。

然后用 tail -f rebuild.log 查看进展:

    1. [root@xx-control xx]# tail -f rebuild.log  
    2. + set -e  
    3. + BACKUP_FOLDER=/mysqldata/shared/backup  
    4. Run xtrabackup to take hotbackup...  
    5. + HOTBACKUP_USER=backupuser  
    6. + HOTBACKUP_PASSWORD='#xxx$'  
    7. + NEED_SAFE_SLAVE=N  
    8. + NEED_RSYNC=Y  
    9. + INNOBACKUP_OPT=  
    10. + [[ N == \Y ]]  
    11. + [[ Y == \Y ]]  
    12. + INNOBACKUP_OPT=' --rsync'  
    13. + echo 'Run xtrabackup to take hotbackup...'  
    14. + export MYSQL_HOME=/opt/mysql/product/mysql  
    15. + MYSQL_HOME=/opt/mysql/product/mysql  
    16. + innobackupex --rsync --user=user'--password=#xxx$' /mysqldata/shared/backup  
    17. .................................................................................  
    18. ................................................................................  
    19. Rebuild secondary done!