Apsara Clouder云计算技能认证:云数据库管理与数据迁移
一.课程介绍
二.云数据库的简介及使用场景
1.云数据库简介
1.1特点:
- 用户按存储容量和带宽的需求付费
- 可移植性
- 按需扩展
- 高可用性(HA)
1.2阿里云云数据库 RDS
- 稳定可靠,可弹性伸缩的在线数据库服务.
- 基于飞天分布式系统和全 SSD 盘高性能存储
- 支持 MySQL,SQLServer,PostgreSQL 和 PPAS 引擎
- 提供容灾,备份,恢复,监控,迁移等方面的全套解决方案.
2.云数据库与自建数据库对比
3.云数据库功能特点
3.1 安全性
- 3层安全防护体系,通过十项安全合规认定,为您抵御90%以上的网络攻击.
- 安全事前防护:IP 白名单,支持 VPC私用网络
- 安全事中防护:SSL 加密,只是 TDE(透明数据加密)
- 安全事后审计:RDS 支持 SQL 审计功能
3.2可用性
- 3重高可用(容灾)架构,提供99.95%的业务可用性保障
- 主备架构:位于两个服务器,自动同步,异常切换
- 同城容灾:在不同可用区部署
- 异地容灾:支持创建一定灾备实例
3.3 可扩展性
- 弹性扩展,实现100%的资源利用率
- 可按需升级实例内存,磁盘空间大小,提升业务处理能力;单实例最大支持50000IOPS,3TB 存储空间.
- RDS for MySQL 支持挂载只读实例,扩展读取能力;每个只读实例拥有独立的连接地址,可有应用端控制压力分配
3.4 易用性
- 内网外网同时连接,方便本地化管理
- 自动备份,两年内数据恢复,解决90%以上的系统故障
- 自动监控预警,定期性能巡检,分担60%以上的运维工作
4.云数据库的应用场景
4.1数据多样化存储
RDS 支持搭配云数据库 Memcache,云数据库 redis 和对象存储 OSS 等存储产品使用,实现多样化存储扩展
4.2数据异地容灾场景
阿里云云数据库支持创建异地容灾实例
用户也可以通过 DTS数据传输服务,将传统自建数据库同步到云数据库RDS 中
4.3 大数据分析场景
大数据计算服务(MaxCompute,原名 ODPS)提供海量数据仓库解决方案以及针对大数据分析建模服务.
通过数据集成服务,可将 RDS 数据导入 MaxCompute,实现大规模数据计算.
三.云数据库 MySQL 版的基本概念
1.数据库 Mysql 版的分类
- 单机基础版
- 双机高可用版
- 金融版
2.云数据库的基本概念
- 实例:数据库服务进程
- 数据库:实例下的逻辑单元
- 账号:一个实例可以创建多个账号
- 内外网地址:访问模式对连接地址的选择有限制
- 访问模式:标准模式,高安全模式
- 白名单
四.创建实例,数据库与账号
1.云数据库快速管理流程
云数据库快速管理流程
五.SQL 操作与数据导入导出
1.连接云数据库
2.数据库管理服务 DMS 介绍
DMS 的优势
- 数据分析
- 提升研发效率
- 实时优化数据库性能
- 访问安全
- 丰富数据源支持
3.数据的导入及导出
- 导入数据
- 导出数据
- 表结构对比
4.sql 操作
- 命令窗口
- sql 窗口
- 表操作
六.数据库迁移上云
1.数据库迁移上云概述及工具
应用场景
- 线下自建数据库迁移
- 云上自建数据库迁移
- 阿里云内部跨实例迁移
- 其他云数据库迁移
注意条件:
- 需支持同异构数据库源之间的迁移
- 需支持库列表三级映射,数据过滤多种 ETL 特性
mysql 迁移工具:
- 传统数据库迁移工具,mysqldump,phpMyAdmin
- 阿里云 DTS
2.迁移模式DTS
迁移模式:
- 结构迁移
- 全量数据迁移
- 增联数据迁移
3.迁移步骤
前提条件:
- 创建 RDS 数据库
- 创建迁移账户
操作步骤:
- 创建迁移任务
- 配置迁移实例连接信息
- 迁移对象及迁移类型配置
- 预检查
- 启动迁移任务
4.数据库迁移上云演示
七.云数据库运维常用设置
- 1.变更配置
- 2.设置参数
- 3.设置可维护时间段
- 4.迁移可用区
- 5.切换主备实例
- 6.数据复制方式
- 7.切换网络访问模式
八.云数据管理初体验
1.登录到 RDS 管理控制台
如何登录到阿里云RDS管理控制台,并进入RDS实例。 1. 首先,通过如下操作步骤,登录到阿里云RDS管理控制台: 1)点击页面左侧 实验资源 ,下拉框中点击 点击 前往控制台 , 2)依次输入 实验资源 提供的 子用户名称 、子帐号密码 ,然后点击 登录 。 3)顶部导航栏处点击 产品与服务 ,下拉菜单中,依次选择 云计算基础服务 ---> 数据库 ---> 云数据库RDS版 ,进入阿里云RDS管理控制台。 2. 通过如下步骤,进入实验资源 云数据库RDS实例 的管理控制台。 1)在顶部地址栏,选择 实验资源 提供的 地域 信息。 2)在搜索栏中,输入 实验资源 提供的 云数据库RDS实例 的 实例ID ,并点击 搜索 。 3)在下方搜索结果中,点击实例右侧的 管理 ,进入RDS实例的管理控制台。
2.创建RDS数据库账号
如何创建RDS数据库账号。 1. 通过如下步骤,进入数据库账号创建页面: 1)在RDS实例的管理页面,点击左侧栏的 账号管理 ,进入数据库账号管理页面。 2)在 用户账号 页面,点击右侧的 创建账号 。 2. 填写如下信息,完成数据库账号创建: 说明:如下参数的具体说明,烦请参考 背景知识 小节中 RDS 数据库帐号 的 创建数据库帐号 部分。 1)数据库账号:请根据 输入框 下端的 命名规则 ,输入 数据库账号名称,例如:lab_user 。 2)密码 :请根据 输入框 下端的 密码规则 ,输入 密码,例如:Passw0rd; 3)确认密码:再次输入创建的密码。 4)完成如上信息后,点击 确定 。 3. 自动返回 账号管理 的 用户账号 页面,查看到新建账号 lab_user 的 状态 为 激活 。
3.创建RDS数据库
在RDS实例上创建数据库。 1. 通过如下操作步骤,进入数据库创建页面: 1)点击左侧栏的 数据库管理 ,进入数据库管理页面。 2)在右侧的 数据库管理 页面,点击右侧的 创建数据库 ,进入创建页面。 2. 在创建页面中,添加如下信息: 说明:如下参数的具体说明,烦请参考 背景知识 小节中 RDS 数据库 的 创建数据库 部分。 1)数据库(DB)名称:请根据 输入框 下端的 命名规则 ,输入 数据库名称,例如:lab_db 。 2)支持字符集:默认设为 utf8 。 3)授权帐号:选择新建数据库账号 lab_user。 4)账号类型:默认设置为 读写 。 5)完成如上配置信息后,点击底部的 确定 ,完成数据库的创建。 3. 在 数据库管理 页面中,等待1分钟左右,点击右上角的 刷新 ,可以查看到数据库 lab_db 的 数据库状态 为 运行中 ,且 绑定账号 为 新建数据库账号 lab_user 。
4.登录 RDS 数据库
通过RDS管理控制台,登录到 新建RDS数据库。 1. 在 账号管理 页面,点击顶部右侧的 登录数据库 ,弹出数据库登录页面。 2. 通过如下步骤,查看登录的 网路地址:端口 的信息: 1)返回RDS管理控制台,点击左侧 基本信息 。 2)点击 内网地址 右侧的 复制地址 ,拷贝RDS实例的内网连接地址。 3)查看 内网端口 为 3306 。 3. 返回数据库管理控制台,输入如下信息: 1)第一行:输入 内网地址:3306 ,其中 内网地址 为 上一步拷贝的 内网地址 的信息。 2)第二行:输入 新建数据库账号 ,lab_user 。 3)第三行:输入 新建数据库账号密码 ,Passw0rd 。 4)点击 登录 ,登录到数据库管理系统。 4. 下一小节,将在DMS管理控制台中,导入测试数据,并查看。
5.导入测试数据
导入客户模拟数据到 新建数据库 中,并查看数据。 1. 通过如下操作步骤,进入数据库导入的页面: 1)点击页面顶部的 数据处理 。 2)在弹出的下拉菜单中,点击 导入 。 2. 通过如下操作步骤,导入本地测试数据: 1)点击本小节页面左侧的 附件下载 ,然后下载文件 lab.sql 作为测试数据到本地。 2)返回 数据库管理控制台 的 导入 页面,点击 新增任务 ,创建导入数据任务。 3)在 附件 栏右侧,点击 选择附件 ,并选择下载 lab.sql 文件的本地保存路径。 4)完成后,点击底部的 开始 ,导入测试数据。 5)等待几秒钟,查看到导入 进度 为 100% ,证明导入成功。 6)点击底部的 关闭 ,关闭页面。 3. 在 导入历史列表 中,可以查看到状态为 完成 的任务。 4. 通过如下步骤,查看导入表的信息: 1)在左侧栏的左上角下拉框中,可以查看当前数据库为 新建数据库 :lab_db 。 说明:若不是,点击下拉按钮,并选择对应需要查看的数据库名称。 2)点击数据库显示右侧的 刷新 键,刷新数据库信息,可以查看到通过sql文件导入的表信息。 3)点击 表名 ,例如:admin_app_version ,可以查看到所有对表的操作,例如:SQL操作数据、打开表 等等。 5. 下一小节,将介绍如何查看数据库的诊断报告。
6.查看诊断报告
查看实例的诊断报告。 1. 通过如下步骤,进入诊断报告页面: 1)点击顶部 性能 。 2)在下拉菜单中,点击 诊断报告 。 2. 通过如下步骤,发起实例诊断: 1)在诊断报告的主页面中,点击左侧的 发起诊断 。 2)弹出提示,点击 Yes 。 3)弹出新的提示,点击 Yes 。 4)重新加载 页面(刷新),查看诊断报告的 状态 变为 诊断完成 。 3. 通过如下步骤,查看诊断报告,并进行分析: 1)点击诊断报告右侧的 查看报告 ,弹出诊断报告页面。 2)可以在页面中,查看到如下的诊断报告信息: 实例规格 健康状况 SQL优化 空间诊断 会话列表 慢SQL汇总 性能趋势图
九.数据库上云迁移实践
1.查询源数据库
登录本地部署的MySQL数据库实验环境,并查看本地MySQL源数据库中的信息。 1. 通过本地远程连接服务,远程登录到 我的实验资源 中的 MySQL源数据库 ECS实例。 说明:远程连接的详细操作步骤,请参考 帮助文档 的 远程连接服务器ECS 中 远程访问Linux系统。登录时,请使用 我的实验资源 提供ECS实例的 外网地址 ,用户 和 密码 。 2. 运行如下命令,登录到ECS实例的MySQL数据库: mysql -u root -p Enter password: (输入123456,输入的密码不会显示) 3. 通过如下操作,查看源数据库bakery、其中的表customer和product,以及表中的数据。 1)执行如下命令,查看数据库信息。 mysql> show databases; 2)执行如下命令,切换数据库为bakery: mysql> use bakery; 3)执行如下命令,查看表中数据: mysql> show columns from customer; mysql> show columns from product; mysql> select * from customer; mysql> select * from product;
2.建立目标数据库
在RDS管理控制台上,创建数据库和数据库账号 1. 首先,通过如下操作步骤,登录到阿里云RDS管理控制台: 1)点击页面左侧导航栏处的 实验资源 。 2)点击 前往控制台 ,进入阿里云管理控制台RAM登录界面。 3)依次输入 实验资源 提供的 子用户名称 ,子用户密码 。 4)点击 登录 ,进入阿里云管理控制台。子用户登录子用户密码 5)在 我的产品 栏目下,点击 云数据库RDS版 ,进入阿里云RDS管理控制台。 2. 通过如下步骤,进入实验资源 云数据库RDS实例 的管理控制台。 1)在顶部地址栏,选择 实验资源 提供的 地域 信息。 2)在搜索栏中,输入 实验资源 提供的 目标数据库 的 实例ID ,并点击 搜索 。 3)在下方搜索结果中,点击实例右侧的 管理 ,进入RDS实例的管理控制台。 3. 通过如下步骤,进入数据库账号创建页面: 1)在RDS实例的管理页面,点击左侧栏的 账号管理 ,进入数据库账号管理页面。 2)在 用户账号 页面,点击右侧的 创建账号 。 2. 填写如下信息,完成数据库账号创建: 1)数据库账号:请根据 输入框 下端的 命名规则 ,输入 数据库账号名称,例如:lab_user 。 2)密码 :请根据 输入框 下端的 密码规则 ,输入 密码,例如:Passw0rd; 3)确认密码:再次输入创建的密码。 4)完成如上信息后,点击 确定 。 5)返回 账号管理 的 用户账号 ,查看到新建账号 lab_user 的 状态 为 激活 。 3. 通过如下操作步骤,进入数据库创建页面: 1)点击左侧栏的 数据库管理 ,进入数据库管理页面。 2)在右侧的 数据库管理 页面,点击右侧的 创建数据库 ,进入创建页面。 4. 在创建页面中,添加如下信息: 1)数据库(DB)名称:请根据 输入框 下端的 命名规则 ,输入 数据库名称,例如:lab_db 。 2)支持字符集:默认设为 utf8 。 3)授权帐号:选择新建数据库账号 lab_user。 4)账号类型:默认设置为 读写 。 5)完成如上配置信息后,点击底部的 确定 ,完成数据库的创建。 6)在 数据库管理 页面中,等待1分钟左右,点击右上角的 刷新 ,可以查看到数据库 lab_db 的 数据库状态 为 运行中 ,且 绑定账号 为 新建数据库账号 lab_user 。
3.数据库迁移
本小节的主要内容:通过数据迁移服务,将本地MySQL中的源数据库中的数据迁移到RDS的新建目标数据库 lab_db。 1. 通过如下步骤,进入数据迁移管理页面: 1)点击页面右上角的 迁移数据库 。进入 数据迁移服务 的管理页面。 2)点击左侧栏 数据迁移 ,进入数据迁移的管理页面。 3)点击 数据迁移 右上角的 创建迁移任务 。 2. 新建一个迁移任务,按照如下步骤,输入 源库信息 的配置信息: 1) 任务名称:自定义一个名称,以便能找到自己的数据迁移任务。 2)实例类型:选择 有公网IP的自建数据库 。 3)实例地区: 选择 实验资源 中分配的 地域 ,例如:华东1 4)数据库类型:选择 MySQL 。 5)主机名或IP地址:输入 实验资源 中分配的 MySQL源数据库 ECS实例的 弹性IP。 6)端口:使用默认端口号 3306 7)数据库账号:输入ECS上自建MySQL的 数据库账号 ,root;数据库密码:自建MySQL的访问密码,123456 8)完成如上配置后,点击右侧的 测试链接 ,测试自建MySQL数据库的连通性,若显示 测试通过 ,证明连接成功。否则,请检查如上配置信息是否正确。数据迁移名称 3. 按照如下步骤,完成 目标库信息 的配置信息: 1)实例类型:选择 RDS实例 2)实例地区:选择 实验资源 中分配的 地域 ,例如:华东1 3)RDS实例ID :选择 实验资源 中提供的 目标数据库 的 实例ID 4)数据库账号:输入RDS实例中新建的 数据库账号 ,lab_user ;数据库密码:新建数据库的密码,Passw0rd 5)完成如上配置后,点击右侧的 测试链接 ,测试RDS账号的连通性,若显示 测试通过 ,证明连接成功。否则,请检查如上配置信息是否正确。 6)完成如上的配置后,点击右下角的 授权白名单并进入下一步 。 5. 通过如下步骤,配置迁移任务的 迁移类型及列表: 1)勾选左侧 迁移对象 中的本地MySQL数据库中的bakery 2)点击 > 3)数据库 bakery 移动到 已选择对象 的列表中。 4)完成如上配置后,点击右下角的 预检查并启动 。 6. 等待3秒钟左右,完成预检查,检查结果为 预检查通过100% ,点击 下一步 。 说明:若预检查未通过,请根据错误提示和如上的操作步骤,核对迁移任务的配置是否正确。 7. 按照如下内容,购买迁移任务的配置: 1)链路地域:使用默认地域 2)链路规格:选择 small 3)勾选 《数据传输(按量付费)服务条款》 4)完成如上配置后,点击 立即购买并启动 8.此时,页面迁移任务的状态为 迁移中 ,等待3-4分钟,状态变为 已完成 。
4.查阅迁移结果
在RDS的管理控制台,查看数据迁移结果。 1. 点击顶部的 产品与服务 ,然后,依次选择 云计算基础服务器,数据库。点击 云数据库RDS版,进入RDS管理控制台。 产品与服务-RDS 2)在 实例列表 界面中,点击右上角的 登录数据库 ,进入数据库管理登录界面。 3)在弹出的页面中,输入如下的信息: 网络地址:端口:请输入 实验资源 中,RDS 目标数据库 提供的 链接地址 以及端口号 3306。 例如:提供的RDS 链接地址为 rm-uf6l90d950j1o7890.mysql.rds.aliyuncs.com ,则输入信息为: rm-uf6l90d950j1o7890.mysql.rds.aliyuncs.com:3306 用户名:输入新建数据库账号 lab_user 密码:输入新建数据库密码 Passw0rd 完成后,点击 登录 。 rds数据库登录 2. 进入数据库管理页面,证明数据库迁移成功。 迁移结果