10 2020 档案

数仓维度模型
摘要：一、SCD（Slowly Changing Dimensions），中文一般翻译成“缓慢变化维”。 顾名思义，缓慢变化维度（slowly changing dimension, SCD）就是数据仓库维度表中，那些随时间变化比较不明显，但仍然会发生变化的维度。考虑以下两个情境： 在员工维度表中，某员工 阅读全文
posted @ 2020-10-28 20:10 lenomail 阅读(277) 评论(0) 推荐(0)
数据资产建设
摘要：一、前期准备 正确的数据观 详细的调研 数据域设计 二、建设方法论 识别三种对象 建设数据类目体系 设计主题域及类目体系 三、数据资产建设的步骤 产品选择 技术方案设计 数据资源了解 数据仓库模型设计 数据开发规划制定 数据仓库建设 数据应用支撑 阅读全文
posted @ 2020-10-22 20:36 lenomail 阅读(394) 评论(0) 推荐(0)
数据源盘点与规划
摘要：数据源盘点 一、数据资源的分类 按数据格式划分：结构化、半结构化、非结构化数据 按存储形式划分：数据库、文件、流、数据服务 按数据描述内容划分：实体数据、交易数据、行为数据、统计结果数据 按数据归属地划分：内部数据、外部数据 按主题划分：企业业务的核心实体和业务过程进行划分 数据资源规划 基础数据 阅读全文
posted @ 2020-10-22 20:24 lenomail 阅读(315) 评论(0) 推荐(0)
HDFS的架构
摘要：HDFS架构 HDFS架构包含三个部分：NameNode，DataNode，Client。 NameNode：NameNode用于存储、生成文件系统的元数据。运行一个实例。 DataNode：DataNode用于存储实际的数据，将自己管理的数据块上报给NameNode ，运行多个实例。 Client 阅读全文
posted @ 2020-10-22 11:42 lenomail 阅读(386) 评论(0) 推荐(0)
数据中台建设五步法
摘要：一、数据资源的盘点与规划 对现有数据资源源盘点和统计 对企业可以拥有或拥有的数据资源进行规划 构建盘点体系并使用必要工具，保证盘点的成果能够始终与真实情况相符 二、数据应用规划与设计 企业中有哪些数据需求 企业应该构建哪些数据应用 应该按照什么顺序实现这些数据应用 三、数据资产建设 技术建设 标准和 阅读全文
posted @ 2020-10-21 22:15 lenomail 阅读(734) 评论(0) 推荐(0)
中台概述
摘要：一、什么是中台 数据中台是实现企业全面数据化的一个解决方案，是一套支撑企业全面数据化的架构，会成为企业开展全面数据化的基础设施。 1.1 全面数据化，能完整地描述企业业务，能够从以下几个层面来让是一个企业的业务： 组织、岗位、职责方面 规章制度、业务规范等 业务流程及业务场景层面 从企业业务现状和业 阅读全文
posted @ 2020-10-21 21:55 lenomail 阅读(177) 评论(0) 推荐(0)
企业数据化
摘要：一、企业数据认知 数据分类： 我们从价值视角对企业的数据进行分类： 知识、情报数据 统计结果数据 交易数据 行为数据 无意义的杂乱数据 企业数据化建设的三个层次： 看清业务：全面了解昨天发生的事 洞察细节：敏捷掌控当前发生的事 智慧智能：对未来的事情提出预测和建议 企业数据化建设的五个部分： 数据治 阅读全文
posted @ 2020-10-21 21:36 lenomail 阅读(243) 评论(0) 推荐(0)
Waiting HDFS基础
摘要：sdf 阅读全文
posted @ 2020-10-21 11:53 lenomail 阅读(40) 评论(0) 推荐(0)
Uninstall MYSQL completely
摘要：首先用dpkg --list|grep mysql查看自己的mysql有哪些依赖 dpkg --list|grep mysql 先卸载sudo apt-get remove mysql-common sudo apt-get remove mysql-common 然后：sudo apt-get a 阅读全文
posted @ 2020-10-21 11:45 lenomail 阅读(91) 评论(0) 推荐(0)
ERROR: KeeperErrorCode = NoNode for /hbase/master
摘要：环境 操作系统：Ubuntu 20.04.1 LTS Hadoop Version: hadoop-3.1.3.tar.gz (下载地址： https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ ) HBase Version : 2.2 阅读全文
posted @ 2020-10-21 11:42 lenomail 阅读(884) 评论(0) 推荐(0)
Hadoop集群安装配置
摘要：环境 操作系统：Ubuntu 20.04.1 LTS MWVare：15.5 Hadoop Version: hadoop-3.1.3.tar.gz (下载地址： https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ ) 创建hadoo 阅读全文
posted @ 2020-10-21 11:39 lenomail 阅读(86) 评论(0) 推荐(0)
VMWare虚拟机下HADOOP网络环境选择
摘要：环境 操作系统：Ubuntu 20.04.1 LTS MWVare：15.5 Bridged（桥接模式） 桥接模式相当于虚拟机和主机在同一个真实网段，VMWare充当一个集线器功能（一根网线连到主机相连的路由器上），所以如果电脑换了内网，静态分配的ip要更改。图如下： NAT（网络地址转换模式） N 阅读全文
posted @ 2020-10-21 11:37 lenomail 阅读(176) 评论(0) 推荐(0)
手工安装并配置mysql
摘要：完全删除MYSQL： https://blog.csdn.net/you_tube/article/details/108959842 前期准备： 依赖包查询地址：https://pkgs.org/ （在搜索框中搜索所需要的deb包） 依赖包libmecab2：64位：http://archive. 阅读全文
posted @ 2020-10-21 11:28 lenomail 阅读(129) 评论(0) 推荐(0)
HBASE VERSION
摘要：环境 操作系统：Ubuntu 20.04.1 LTS Hadoop Version: hadoop-3.1.3.tar.gz (下载地址： https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ ) HBase Version : 2.2 阅读全文
posted @ 2020-10-21 10:55 lenomail 阅读(920) 评论(0) 推荐(0)