5.2数据工程

数据建模就是使用关系型数据库理论建立可以反映客观世界并便于计算处理的数据模型

分:概念模型\逻辑模型\物理模型

概念模型又是信息模型是一种不依赖任何计算机系统和数据库模型的信息结构(实体\属性\域\键\关联)

逻辑模型是继概念模型之后形成的数据结构(层次模型,网状模型,关系模型,面向对象模型和对象关系模型.

关系模型是目前最重要的逻辑数据模型(关系\关系的属性\视图)

关系完整性约束(实体完整性,参照完整性,用户定义完整性)

物理模型基于逻辑模型的基础上:表,字段,视图,索引,存储过程,触发器

数据建模包括:数据需求分析(数据建模的起点,不单独进行),概念模型设计,逻辑模型设计和物理模型设计

数据标准化是实现数据共享的基础

主要内容包括:元数据标准化(元数据:数据的数据)\数据元标准化(数据元:数据库文件和数据交换的基本数据单元:组成 ----对象特性表示

                               数据元提取:自上而下提取法(新建系统)和自下而上提取法(已建系统),数据元标准)

                 \数据模式标准化(数据模式是数据的概念\组成\结构和相互关系的总称,描述方式有图描述方法:IDEFIX方法\UML图和数据字典方法:描述模型中的数据集\单个实体\属性的摘要信息)

                  \数据分类与编码标准化(数据分类有分类对象和分类依据两个要素),是简化信息交换\实现信息处理和信息资源共享的重要前提,是建立各种信息管理系统的重要技术基础和信心保障依据

    \数据标准化管理:具体过程包括确定数据需求\指定数据标准\批准数据标准和实施数据标准

数据运维

数据存储将数据保存在物理介质上

数据存储介质:存储介质是数据存储的载体,是数据存储的基础,并不是越贵越好越先进越好

存储管理

数据备份

数据备份结构四种:DAS备份结构,基于LAN的备份结构,LAN-FREE备份结构和SERVER-FREE备份结构

常见3种备份策略:完全备份,差分备份,增量备份

数据备份系统中:备份软件分两大类:操作系统自带的软件 和 专业备份软件

数据容灾:根据容灾系统保护对象的不同,容灾系统分为应用容灾和数据容灾

数据备份是数据容灾的基础

容灾不是简单备份,衡量容灾系统有两个主要指标(RPO:当灾难发生时允许丢失的数据量和RTO代表了系统恢复的时间)

数据质量评价与控制,数据质量是一个广义的概念

数据质量可以通过数据质量元素来描述,分为数据质量定量元素和数据质量非定量元素

数据质量评价过程是产生和报告数据质量结果的一系列步骤

数据质量评价方法分为直接评价法和间接评价法

数据产品的质量控制分为前期控制和后期控制

前期控制:数据录入前的质量控制 数据录入过程中的实时质量控制

后期控制为数据录入完成后的后处理质量控制与评价

数据清理也称数据清洗:数据分析  数检测和数据修正

数据开发利用

数据集成,向用户提供统一的数据视图.实现数据集成的系统称为数据集成系统,它为用户提供了统一的数据源访问接口.

数据挖掘

数据挖掘与传统数据分析不同:

两者分析对象的数据量有差异,数据挖掘所需的数据量比传统数据分析所需的数据量大,数据量越大,数据挖掘的效果好

两者运用的分析方法有差异,传统数据分析主要运用统计学的方法,手段对数据进行分析,而数据挖掘综合运用数据统计\人工智能\可视化等技术对数据进行分析

两者分析侧重有差异,传统数据分析是回顾型和验证型,数据挖掘是预测型和发现型

两者成熟度不同,传统分析研究较早,分析方法相当成熟,数据挖掘基于统计学等方法外,部分方法仍处于发展阶段

数据挖掘常见的任务包括数据总结,关联分析,分类和预测,聚类分析,孤立点分析

数据挖掘流程包括确定分析对象,数据准备,数据挖掘,结果评估与结果应用

数据挖掘专业人员主要包括业务分析人员,数据挖掘人员和数据管理人员

数据服务包括数据目录服务,数据查询,浏览及下载服务,数据分发服务

数据可视化的表现方式主要分为七类:一维数据可视化,二维数据可视化,三维数据可视化,多维数据可视化,时态数据可视化,层次数据可视化和网络数据可视化

信息检索有广义和侠义之分,广义为信息存储与检索,侠义为用户查找特定信息

信息检索的主要方法:全文检索(文本数据),字段检索,基于内容的多媒体检索:图像、视频、声音检索,数据挖掘

信息检索的常用i技术:布尔逻辑检索技术,截词检索技术,临近检索技术(位置检索),限定字段检索技术,限制检索技术(限制范围)

数据库安全指保护数据库,防止不合法使用所造成的数据泄露更改或破坏

数据库安全威胁

维度安全后果,表现方式:非授权的信息泄露(机密性),非授权的数据修改(完整性),拒绝服务(可用性)

维度威胁方式,表现方式:无意(自然或意外灾害,系统软硬件中的错误,人为错误),有意(授权用户,恶意代理)

数据安全机制包括用户的身份认证,存取控制,数据库加密,数据审计,推理控制.

 

数据建模  数据运维 数据备份  数据开发利用 数据挖掘  数据库安全

 

posted @   无名量  阅读(8)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· 百万级群聊的设计实践
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
· 永远不要相信用户的输入:从 SQL 注入攻防看输入验证的重要性
点击右上角即可分享
微信分享提示