Apsara Clouder云计算技能认证：云数据库管理与数据迁移

一.课程介绍

二.云数据库的简介及使用场景

1.云数据库简介

1.1特点:

  • 用户按存储容量和带宽的需求付费
  • 可移植性
  • 按需扩展
  • 高可用性(HA)

1.2阿里云云数据库 RDS 

  • 稳定可靠,可弹性伸缩的在线数据库服务.
  • 基于飞天分布式系统和全 SSD 盘高性能存储
  • 支持 MySQL,SQLServer,PostgreSQL 和 PPAS 引擎
  • 提供容灾,备份,恢复,监控,迁移等方面的全套解决方案.

 

 

2.云数据库与自建数据库对比

 

3.云数据库功能特点

3.1 安全性

  • 3层安全防护体系,通过十项安全合规认定,为您抵御90%以上的网络攻击.
  • 安全事前防护:IP 白名单,支持 VPC私用网络
  • 安全事中防护:SSL 加密,只是 TDE(透明数据加密)
  • 安全事后审计:RDS 支持 SQL 审计功能

3.2可用性

  • 3重高可用(容灾)架构,提供99.95%的业务可用性保障
  • 主备架构:位于两个服务器,自动同步,异常切换
  • 同城容灾:在不同可用区部署
  • 异地容灾:支持创建一定灾备实例

3.3 可扩展性

  • 弹性扩展,实现100%的资源利用率
  • 可按需升级实例内存,磁盘空间大小,提升业务处理能力;单实例最大支持50000IOPS,3TB 存储空间.
  • RDS for MySQL 支持挂载只读实例,扩展读取能力;每个只读实例拥有独立的连接地址,可有应用端控制压力分配

3.4 易用性

  • 内网外网同时连接,方便本地化管理
  • 自动备份,两年内数据恢复,解决90%以上的系统故障
  • 自动监控预警,定期性能巡检,分担60%以上的运维工作

4.云数据库的应用场景

4.1数据多样化存储

RDS 支持搭配云数据库 Memcache,云数据库 redis 和对象存储 OSS 等存储产品使用,实现多样化存储扩展

4.2数据异地容灾场景

阿里云云数据库支持创建异地容灾实例

用户也可以通过 DTS数据传输服务,将传统自建数据库同步到云数据库RDS 中

4.3 大数据分析场景

大数据计算服务(MaxCompute,原名 ODPS)提供海量数据仓库解决方案以及针对大数据分析建模服务.

通过数据集成服务,可将 RDS 数据导入 MaxCompute,实现大规模数据计算.

三.云数据库 MySQL 版的基本概念

1.数据库 Mysql 版的分类

  • 单机基础版
  • 双机高可用版
  • 金融版

2.云数据库的基本概念

  • 实例:数据库服务进程
  • 数据库:实例下的逻辑单元
  • 账号:一个实例可以创建多个账号
  • 内外网地址:访问模式对连接地址的选择有限制
  • 访问模式:标准模式,高安全模式
  • 白名单

四.创建实例,数据库与账号

1.云数据库快速管理流程

云数据库快速管理流程

 

 

五.SQL 操作与数据导入导出

1.连接云数据库

2.数据库管理服务 DMS 介绍

DMS 的优势

  • 数据分析
  • 提升研发效率
  • 实时优化数据库性能
  • 访问安全
  • 丰富数据源支持

3.数据的导入及导出

  • 导入数据
  • 导出数据
  • 表结构对比

 

4.sql 操作

  • 命令窗口
  • sql 窗口
  • 表操作

六.数据库迁移上云

1.数据库迁移上云概述及工具

应用场景

  • 线下自建数据库迁移
  • 云上自建数据库迁移
  • 阿里云内部跨实例迁移
  • 其他云数据库迁移

注意条件:

  • 需支持同异构数据库源之间的迁移
  • 需支持库列表三级映射,数据过滤多种 ETL 特性
mysql 迁移工具:
  • 传统数据库迁移工具,mysqldump,phpMyAdmin
  • 阿里云 DTS
 

2.迁移模式DTS

迁移模式:

  • 结构迁移
  • 全量数据迁移
  • 增联数据迁移

3.迁移步骤

前提条件:

  • 创建 RDS 数据库
  • 创建迁移账户
操作步骤:
  • 创建迁移任务
  • 配置迁移实例连接信息
  • 迁移对象及迁移类型配置
  • 预检查
  • 启动迁移任务

4.数据库迁移上云演示

七.云数据库运维常用设置

  • 1.变更配置
  • 2.设置参数
  • 3.设置可维护时间段
  • 4.迁移可用区
  • 5.切换主备实例
  • 6.数据复制方式
  • 7.切换网络访问模式

八.云数据管理初体验

1.登录到 RDS 管理控制台

如何登录到阿里云RDS管理控制台，并进入RDS实例。

1. 首先，通过如下操作步骤，登录到阿里云RDS管理控制台：
1）点击页面左侧 实验资源 ，下拉框中点击 点击 前往控制台 ，
2）依次输入 实验资源 提供的 子用户名称 、子帐号密码 ，然后点击 登录 。
3）顶部导航栏处点击 产品与服务 ，下拉菜单中，依次选择 云计算基础服务 ---> 数据库 ---> 云数据库RDS版 ，进入阿里云RDS管理控制台。


2. 通过如下步骤，进入实验资源 云数据库RDS实例 的管理控制台。
1）在顶部地址栏，选择 实验资源 提供的 地域 信息。
2）在搜索栏中，输入 实验资源 提供的 云数据库RDS实例 的 实例ID ，并点击 搜索 。
3）在下方搜索结果中，点击实例右侧的 管理 ，进入RDS实例的管理控制台。

2.创建RDS数据库账号

如何创建RDS数据库账号。

1. 通过如下步骤，进入数据库账号创建页面：
1）在RDS实例的管理页面，点击左侧栏的 账号管理 ，进入数据库账号管理页面。
2）在 用户账号 页面，点击右侧的 创建账号 。


2. 填写如下信息，完成数据库账号创建：
说明：如下参数的具体说明，烦请参考 背景知识 小节中 RDS 数据库帐号 的 创建数据库帐号 部分。
1）数据库账号：请根据 输入框 下端的 命名规则 ，输入 数据库账号名称，例如：lab_user 。
2）密码 ：请根据 输入框 下端的 密码规则 ，输入 密码，例如：Passw0rd；
3）确认密码：再次输入创建的密码。
4）完成如上信息后，点击 确定 。

3. 自动返回 账号管理 的 用户账号  页面，查看到新建账号 lab_user 的 状态 为 激活 。

3.创建RDS数据库

在RDS实例上创建数据库。

1. 通过如下操作步骤，进入数据库创建页面：
1）点击左侧栏的 数据库管理 ，进入数据库管理页面。
2）在右侧的 数据库管理 页面，点击右侧的 创建数据库 ，进入创建页面。

2. 在创建页面中，添加如下信息：
说明：如下参数的具体说明，烦请参考 背景知识 小节中 RDS 数据库 的 创建数据库 部分。
1）数据库（DB）名称：请根据 输入框 下端的 命名规则 ，输入 数据库名称，例如：lab_db 。
2）支持字符集：默认设为 utf8 。
3）授权帐号：选择新建数据库账号 lab_user。
4）账号类型：默认设置为 读写 。
5）完成如上配置信息后，点击底部的 确定 ，完成数据库的创建。

3. 在 数据库管理 页面中，等待1分钟左右，点击右上角的 刷新 ，可以查看到数据库 lab_db 的 数据库状态 为 运行中 ，且 绑定账号 为 新建数据库账号 lab_user 。

4.登录 RDS 数据库

通过RDS管理控制台，登录到 新建RDS数据库。

1. 在 账号管理 页面，点击顶部右侧的 登录数据库 ，弹出数据库登录页面。



2. 通过如下步骤，查看登录的 网路地址：端口 的信息：
1）返回RDS管理控制台，点击左侧 基本信息 。
2）点击 内网地址 右侧的 复制地址 ，拷贝RDS实例的内网连接地址。
3）查看 内网端口 为 3306 。


3. 返回数据库管理控制台，输入如下信息：
1）第一行：输入 内网地址:3306 ，其中 内网地址 为 上一步拷贝的 内网地址 的信息。
2）第二行：输入 新建数据库账号 ，lab_user 。 
3）第三行：输入 新建数据库账号密码 ，Passw0rd 。
4）点击 登录 ，登录到数据库管理系统。


4.  下一小节，将在DMS管理控制台中，导入测试数据，并查看。

5.导入测试数据

导入客户模拟数据到 新建数据库 中，并查看数据。

1. 通过如下操作步骤，进入数据库导入的页面：
1）点击页面顶部的 数据处理 。
2）在弹出的下拉菜单中，点击 导入 。

2. 通过如下操作步骤，导入本地测试数据：
1）点击本小节页面左侧的 附件下载 ，然后下载文件 lab.sql 作为测试数据到本地。
2）返回 数据库管理控制台 的 导入 页面，点击 新增任务 ，创建导入数据任务。
3）在 附件 栏右侧，点击 选择附件 ，并选择下载 lab.sql 文件的本地保存路径。
4）完成后，点击底部的 开始 ，导入测试数据。
5）等待几秒钟，查看到导入 进度 为 100% ，证明导入成功。
6）点击底部的 关闭 ，关闭页面。

3. 在 导入历史列表 中，可以查看到状态为 完成 的任务。

4. 通过如下步骤，查看导入表的信息：
1）在左侧栏的左上角下拉框中，可以查看当前数据库为 新建数据库 ：lab_db 。
说明：若不是，点击下拉按钮，并选择对应需要查看的数据库名称。
2）点击数据库显示右侧的 刷新 键，刷新数据库信息，可以查看到通过sql文件导入的表信息。
3）点击 表名 ，例如：admin_app_version ，可以查看到所有对表的操作，例如：SQL操作数据、打开表 等等。


5. 下一小节，将介绍如何查看数据库的诊断报告。

6.查看诊断报告

查看实例的诊断报告。

1. 通过如下步骤，进入诊断报告页面：
1）点击顶部 性能 。
2）在下拉菜单中，点击 诊断报告 。

2. 通过如下步骤，发起实例诊断：
1）在诊断报告的主页面中，点击左侧的 发起诊断 。
2）弹出提示，点击 Yes 。
3）弹出新的提示，点击 Yes 。
4）重新加载 页面（刷新），查看诊断报告的 状态 变为 诊断完成 。

3. 通过如下步骤，查看诊断报告，并进行分析：
1）点击诊断报告右侧的 查看报告 ，弹出诊断报告页面。
2）可以在页面中，查看到如下的诊断报告信息：

实例规格
健康状况
SQL优化
空间诊断
会话列表
慢SQL汇总
性能趋势图

九.数据库上云迁移实践 

1.查询源数据库

登录本地部署的MySQL数据库实验环境，并查看本地MySQL源数据库中的信息。

1. 通过本地远程连接服务，远程登录到 我的实验资源 中的 MySQL源数据库 ECS实例。
说明：远程连接的详细操作步骤，请参考 帮助文档 的 远程连接服务器ECS 中 远程访问Linux系统。登录时，请使用 我的实验资源 提供ECS实例的 外网地址 ，用户 和 密码 。

2. 运行如下命令，登录到ECS实例的MySQL数据库：
mysql -u root -p
Enter password:  （输入123456，输入的密码不会显示）

3. 通过如下操作，查看源数据库bakery、其中的表customer和product，以及表中的数据。
1）执行如下命令，查看数据库信息。
mysql> show databases;
2）执行如下命令，切换数据库为bakery：
mysql> use bakery;
3）执行如下命令，查看表中数据：
mysql> show columns from customer;
mysql> show columns from product;
mysql> select * from customer;
mysql> select * from product;

2.建立目标数据库

在RDS管理控制台上，创建数据库和数据库账号

1. 首先，通过如下操作步骤，登录到阿里云RDS管理控制台：
1）点击页面左侧导航栏处的 实验资源 。
2）点击 前往控制台 ，进入阿里云管理控制台RAM登录界面。
3）依次输入 实验资源 提供的 子用户名称 ，子用户密码 。
4）点击 登录 ，进入阿里云管理控制台。子用户登录子用户密码
5）在 我的产品 栏目下，点击 云数据库RDS版 ，进入阿里云RDS管理控制台。



2. 通过如下步骤，进入实验资源 云数据库RDS实例 的管理控制台。
1）在顶部地址栏，选择 实验资源 提供的 地域 信息。
2）在搜索栏中，输入 实验资源 提供的 目标数据库 的 实例ID ，并点击 搜索 。
3）在下方搜索结果中，点击实例右侧的 管理 ，进入RDS实例的管理控制台。

3. 通过如下步骤，进入数据库账号创建页面：
1）在RDS实例的管理页面，点击左侧栏的 账号管理 ，进入数据库账号管理页面。
2）在 用户账号 页面，点击右侧的 创建账号 。

2. 填写如下信息，完成数据库账号创建：
1）数据库账号：请根据 输入框 下端的 命名规则 ，输入 数据库账号名称，例如：lab_user 。
2）密码 ：请根据 输入框 下端的 密码规则 ，输入 密码，例如：Passw0rd；
3）确认密码：再次输入创建的密码。
4）完成如上信息后，点击 确定 。
5）返回 账号管理 的 用户账号 ，查看到新建账号 lab_user 的 状态 为 激活 。

3. 通过如下操作步骤，进入数据库创建页面：
1）点击左侧栏的 数据库管理 ，进入数据库管理页面。
2）在右侧的 数据库管理 页面，点击右侧的 创建数据库 ，进入创建页面。

4. 在创建页面中，添加如下信息：
1）数据库（DB）名称：请根据 输入框 下端的 命名规则 ，输入 数据库名称，例如：lab_db 。
2）支持字符集：默认设为 utf8 。
3）授权帐号：选择新建数据库账号 lab_user。
4）账号类型：默认设置为 读写 。
5）完成如上配置信息后，点击底部的 确定 ，完成数据库的创建。
6）在 数据库管理 页面中，等待1分钟左右，点击右上角的 刷新 ，可以查看到数据库 lab_db 的 数据库状态 为 运行中 ，且 绑定账号 为 新建数据库账号 lab_user 。

3.数据库迁移

  本小节的主要内容：通过数据迁移服务，将本地MySQL中的源数据库中的数据迁移到RDS的新建目标数据库 lab_db。

1. 通过如下步骤，进入数据迁移管理页面：
1）点击页面右上角的 迁移数据库 。进入 数据迁移服务 的管理页面。
2）点击左侧栏 数据迁移 ，进入数据迁移的管理页面。
3）点击 数据迁移 右上角的 创建迁移任务 。

2. 新建一个迁移任务，按照如下步骤，输入 源库信息 的配置信息：
1)   任务名称：自定义一个名称，以便能找到自己的数据迁移任务。
2）实例类型：选择 有公网IP的自建数据库 。
3）实例地区： 选择 实验资源 中分配的 地域 ，例如：华东1 
4）数据库类型：选择 MySQL 。
5）主机名或IP地址：输入 实验资源 中分配的 MySQL源数据库 ECS实例的 弹性IP。
6）端口：使用默认端口号 3306
7）数据库账号：输入ECS上自建MySQL的 数据库账号 ，root；数据库密码：自建MySQL的访问密码，123456
8）完成如上配置后，点击右侧的 测试链接 ，测试自建MySQL数据库的连通性，若显示 测试通过 ，证明连接成功。否则，请检查如上配置信息是否正确。数据迁移名称

3. 按照如下步骤，完成 目标库信息 的配置信息：
1）实例类型：选择 RDS实例
2）实例地区：选择 实验资源 中分配的 地域 ，例如：华东1 
3）RDS实例ID ：选择 实验资源 中提供的 目标数据库 的 实例ID 
4）数据库账号：输入RDS实例中新建的 数据库账号 ，lab_user ；数据库密码：新建数据库的密码，Passw0rd
5）完成如上配置后，点击右侧的 测试链接 ，测试RDS账号的连通性，若显示 测试通过 ，证明连接成功。否则，请检查如上配置信息是否正确。
6）完成如上的配置后，点击右下角的 授权白名单并进入下一步 。



5. 通过如下步骤，配置迁移任务的 迁移类型及列表：
1）勾选左侧 迁移对象 中的本地MySQL数据库中的bakery 
2）点击 > 
3）数据库 bakery 移动到 已选择对象 的列表中。
4）完成如上配置后，点击右下角的 预检查并启动 。



6. 等待3秒钟左右，完成预检查，检查结果为 预检查通过100% ，点击 下一步 。
说明：若预检查未通过，请根据错误提示和如上的操作步骤，核对迁移任务的配置是否正确。

7. 按照如下内容，购买迁移任务的配置：
1）链路地域：使用默认地域 
2）链路规格：选择 small
3）勾选 《数据传输（按量付费）服务条款》
4）完成如上配置后，点击 立即购买并启动 

8.此时，页面迁移任务的状态为 迁移中 ，等待3-4分钟，状态变为 已完成 。

4.查阅迁移结果

在RDS的管理控制台，查看数据迁移结果。

1. 点击顶部的 产品与服务 ，然后，依次选择 云计算基础服务器，数据库。点击 云数据库RDS版，进入RDS管理控制台。
产品与服务-RDS
2）在 实例列表 界面中，点击右上角的 登录数据库 ，进入数据库管理登录界面。
3）在弹出的页面中，输入如下的信息：
网络地址:端口：请输入 实验资源 中，RDS 目标数据库 提供的 链接地址 以及端口号 3306。
     例如：提供的RDS 链接地址为
rm-uf6l90d950j1o7890.mysql.rds.aliyuncs.com
，则输入信息为：
rm-uf6l90d950j1o7890.mysql.rds.aliyuncs.com:3306
用户名：输入新建数据库账号 lab_user
密码：输入新建数据库密码 Passw0rd
   完成后，点击 登录 。
rds数据库登录


2. 进入数据库管理页面，证明数据库迁移成功。
迁移结果

 

posted @ 2019-02-20 21:18  技术小白袁朋  阅读(1444)  评论(0)  编辑  收藏  举报