Data Lake for Enterprises

20221030

  数据湖定义： 一个存储企业各种各样原始数据的大型仓库，其中数据可以存取，处理，分析和传输。

 

  数据湖                                                                                                                                     数据仓库

 1  处理所有类型的数据，比如结构化数据，非结构化数据，                                                 1  只处理结构化数据进行处理。数据与数据仓库定义模型吻合。

半结构化数据等，数据的类型依赖于数据源系统的原始数据格式。

2   很强的计算能力处理和分析所有类型数据，结果保存让用户使用                                      2   处理结构化数据，转换为多维数据，转成报表。

3   数据湖包含更多相关信息，这些信息被访问频率很高，成为企业挖掘的运营需求。           3  数据仓库通常用于存储和维护长期数据，数据按需访问。

 

 

Lambda  架构

 20221113

数据安全

Apache Knox    kerberos + linux 

Apache Rancher   ( 建议 HDP )

Apache Sentry      ( 建议 CDH )

 

数据加密

kms ( kerberos 、ad、 ldap)

 

数据治理

apache atlas

元数据管理

wherehows

 

网络安全

 apache metron