摘要：
离线数仓之数据质量管理 数据质量1.1 概述数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期，只有达到数据的使用预期才能给予管理层正确的决策参考。数据质量管理作为数据仓库的一个重要模块，主要可以分为数据的健康标准量化、监控和保障。1.2. 数据质量标准分类① 数据 阅读全文
摘要：
CDH入门教程1-1 CM简介及集群部署Cloudera Manager1.1 CM简介1.1.1 CM简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理 阅读全文
摘要：
CDH入门教程1-2 采集模块安装第2章 数据采集模块安装2.1 HDFS、YARN、Zookeeper安装2.1.1 选择自定义安装2.1.2 选择安装服务2.1.3 分配节点2.1.4 集群设置全部选默认即可2.1.5 自动启动进程2.1.6 修改HDFS的权限检查配置关闭HDFS中的权限检查： 阅读全文
摘要：
CDH入门教程3第5章 卸载CDH（了解）集群出现错误异常时，再按照本章步骤操作。但是卸载CDH，重新安装只可以解决部分报错，一些极个别顽固报错还是有可能解决不了，所以如果同学们在安装CDH过程中，报的错误，我建议大家直接释放掉阿里云集群，重新购买三台机器重新安装。5.1 停止所有服务1）停止所有集 阅读全文
摘要：
CDH入门教程2第3章 数据仓库模块安装3.1 Hive安装3.1.1 添加服务3.1.2 添加Hive服务3.1.3 将 Hive 服务添加到 Cluster 13.1.4 配置hive元数据3.1.5 测试通过后继续3.1.6 自动启动Hive进程3.2 Oozie安装3.2.1 添加Oozie 阅读全文
摘要：
Docker入门教程2镜像高级操作本章在第4章的基础上, 介绍镜像高级操作创建镜像创建镜像的方法主要有2种：基于已有容器创建。基于Dockerfile文件创建基于已有容器创建docker commit -m 'add new file : a.txt' -a 'daydayup' 9fa new_c 阅读全文
摘要：
Docker入门教程1 docker简介什么是docker Docker 最初是 dotCloud 公司创始人 Solomon Hykes 在法国期间发起的一个公司内部项目，它是基于 dotCloud 公司多年云服务技术的一次革新，并于 2013 年 3 月以 Apache 2.0 授权协议开源，主 阅读全文
摘要：
Zabbix&Grafana&睿象云监控预警2.1 Zabbix使用 Zabbix术语 主机（Host） 一台你想监控的网络设备，用IP或域名表示。 监控项（Item） 你想要接收的主机的特定数据，一个度量数据。 触发器（Trigger） 一个被用于定义问题阈值和“评估”监控项接收到的数据的逻辑表达 阅读全文
摘要：
Zabbix&Grafana&睿象云监控预警2.2 测试 关闭集群中的HDFS，会有如下效果 [daydayup@hadoop102 hadoop-3.1.3]$ stop-dfs.sh 查看仪表盘故障信息 查看邮件，接收故障信息 创建模板 模板是可以方便地应用于多个主机的一组实体。 实体可以是监控 阅读全文
摘要：
Zabbix&Grafana&睿象云监控预警3Zabbix和Grafana集成grafana 是一款采用Go语言编写的开源应用，主要用于大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具，目前已经支持绝大部分常用的时序数据库。下载地址：https://grafana.com/ 阅读全文