摘要: 离线数仓之数据质量管理 数据质量1.1 概述数据质量的高低代表了该数据满足数据消费者期望的程度,这种程度基于他们对数据的使用预期,只有达到数据的使用预期才能给予管理层正确的决策参考。数据质量管理作为数据仓库的一个重要模块,主要可以分为数据的健康标准量化、监控和保障。1.2. 数据质量标准分类① 数据 阅读全文
posted @ 2023-02-22 21:32 LEEPINE 阅读(336) 评论(0) 推荐(1) 编辑
摘要: CDH入门教程1-2 采集模块安装第2章 数据采集模块安装2.1 HDFS、YARN、Zookeeper安装2.1.1 选择自定义安装2.1.2 选择安装服务2.1.3 分配节点2.1.4 集群设置全部选默认即可2.1.5 自动启动进程2.1.6 修改HDFS的权限检查配置关闭HDFS中的权限检查: 阅读全文
posted @ 2023-02-12 23:47 LEEPINE 阅读(255) 评论(0) 推荐(0) 编辑
摘要: CDH入门教程1-1 CM简介及集群部署Cloudera Manager1.1 CM简介1.1.1 CM简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具,使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理 阅读全文
posted @ 2023-02-12 23:47 LEEPINE 阅读(255) 评论(0) 推荐(0) 编辑
摘要: CDH入门教程3第5章 卸载CDH(了解)集群出现错误异常时,再按照本章步骤操作。但是卸载CDH,重新安装只可以解决部分报错,一些极个别顽固报错还是有可能解决不了,所以如果同学们在安装CDH过程中,报的错误,我建议大家直接释放掉阿里云集群,重新购买三台机器重新安装。5.1 停止所有服务1)停止所有集 阅读全文
posted @ 2023-02-12 23:27 LEEPINE 阅读(144) 评论(0) 推荐(0) 编辑
摘要: CDH入门教程2第3章 数据仓库模块安装3.1 Hive安装3.1.1 添加服务3.1.2 添加Hive服务3.1.3 将 Hive 服务添加到 Cluster 13.1.4 配置hive元数据3.1.5 测试通过后继续3.1.6 自动启动Hive进程3.2 Oozie安装3.2.1 添加Oozie 阅读全文
posted @ 2023-02-12 23:27 LEEPINE 阅读(152) 评论(0) 推荐(0) 编辑
摘要: Docker入门教程2镜像高级操作本章在第4章的基础上, 介绍镜像高级操作创建镜像创建镜像的方法主要有2种:基于已有容器创建。基于Dockerfile文件创建基于已有容器创建docker commit -m 'add new file : a.txt' -a 'daydayup' 9fa new_c 阅读全文
posted @ 2023-02-07 20:27 LEEPINE 阅读(47) 评论(0) 推荐(0) 编辑
摘要: Docker入门教程1 docker简介什么是docker Docker 最初是 dotCloud 公司创始人 Solomon Hykes 在法国期间发起的一个公司内部项目,它是基于 dotCloud 公司多年云服务技术的一次革新,并于 2013 年 3 月以 Apache 2.0 授权协议开源,主 阅读全文
posted @ 2023-02-07 20:23 LEEPINE 阅读(39) 评论(0) 推荐(0) 编辑
摘要: Zabbix&Grafana&睿象云监控预警2.1 Zabbix使用 Zabbix术语 主机(Host) 一台你想监控的网络设备,用IP或域名表示。 监控项(Item) 你想要接收的主机的特定数据,一个度量数据。 触发器(Trigger) 一个被用于定义问题阈值和“评估”监控项接收到的数据的逻辑表达 阅读全文
posted @ 2023-01-08 11:45 LEEPINE 阅读(156) 评论(0) 推荐(0) 编辑
摘要: Zabbix&Grafana&睿象云监控预警2.2 测试 关闭集群中的HDFS,会有如下效果 [daydayup@hadoop102 hadoop-3.1.3]$ stop-dfs.sh 查看仪表盘故障信息 查看邮件,接收故障信息 创建模板 模板是可以方便地应用于多个主机的一组实体。 实体可以是监控 阅读全文
posted @ 2023-01-08 11:45 LEEPINE 阅读(93) 评论(0) 推荐(0) 编辑
摘要: Zabbix&Grafana&睿象云监控预警1 Zabbix入门Zabbix概述 Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制,允许用户为几乎任何事件配置基于邮件的告警,这样可以快速反馈服务器的问题。基于已存储的数据,Zabbix提供了出色的报 阅读全文
posted @ 2023-01-08 11:35 LEEPINE 阅读(300) 评论(0) 推荐(0) 编辑