|NO.Z.00024|——————————|^^ 修订 ^^|——|Hadoop&PB级离线数仓.v03|——|Griffin.v03|数据质量监控|

一、与电商业务集成

### --- 数据资产：单击右上角的 DataAssets 来检查数据资产

~~~     这里的数据数据资产主要是保存在Hive上的表，要求 Hive Metastore 服务正常

### --- 创建 measure

~~~     如果要测量源和目标之间的匹配率，请选择 Accuracy（精确度验证）
~~~     如果要检查数据的特定值（例如：空列计数），请选择 Data Profiling（数据统计分析）
~~~     统计表的特定列里面值为空、唯一或是重复的数量
~~~     统计最大值、最小值、平均数、中值等
~~~     用正则表达式来对数据的频率和模式进行分析

~~~     # 核心交易分析中有两张表：
~~~     dws_trade_orders（订单明细）
~~~     dws_trade_orders_w（订单明细宽表）

~~~     # 这两张表的数据量应该是相等的（Accuracy）
~~~     # 计算ODS层
~~~     ods_trade_orders(订单表)
~~~     # 订单表的数据量(Data Profiling)

---

 

 

 

 

 

 

 

 

 

---

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart

                                                                                                                                                   ——W.S.Landor

---