摘要:
Metrics 类型 Counter: 单调递增,例如请求的数量或错误的次数 例如:http_requests_total 记录了HTTP请求的总数 Gauge:可以任意递增递减,适合表示瞬时值 Histogram 用于记录观察结果的分布情况,例如请求的响应时间。 数据类型可以收集不同区间的数据,并 阅读全文
摘要:
create new session tmux new -s {name} kill session tmux kill-session -t {name} rename tmux rename-session -t {old} {new} 详细快捷键可以参考 Tmux 常用快捷键和命令 - Eir 阅读全文
摘要:
本文主要介绍spark的shuffle机制 shuffle的产生 Spark 作业被分解为多个 Stage,每个 Stage 包含多个任务(Task)。在需要重新分区的数据操作时因为需要进行数据的交换因此会产生 Shuffle 边界,即两个 Stage 之间需要进行 Shuffle 操作。 shuf 阅读全文
摘要:
本文主要介绍SPARK RDD的checkpoinnt机制 checkpoint机制介绍 checkpoint是将RDD保存到可靠的存储中的机制,主要目的是提高应用的容错能力和持久性。Checkpointing 将数据从内存中转移到磁盘存储,使得在出现节点故障时,Spark 可以从存储中恢复数据,而 阅读全文
摘要:
2.1基本概念 2.1.2维度建模研讨 维度模型应该由业务、模型设计者通过充分的讨论得到。 2.1.3四步骤维度设计过程 维度设计期间主要设计一下四个主要的决策: 选择业务过程 声明粒度 确认维度 确认事实 2.1.4业务过程 表示一次业务的行为。例如获得订单、学生课程注册, 2.1.5粒度 粒度是 阅读全文
摘要:
维度建模的简介 维度模型通常不要求必须满足数据库的3NF,规范化的3NF对与数据仓库来说过于复杂,用户难以理解、检索。但维度模型包含的信息和3NF模型包含的信息基本一致,但为了查询性能的通常刻意不满足三范式。 1.3.1 星型模型与OLAP 关系数据库中实现的维度模型称为星型模型,其又一个事实表与多 阅读全文
摘要:
hive删除分区需要用alter语句 tips: par_col为分区列名,colname为需要删除分区的具体名 e.g. 删除date=20190909分区数据 阅读全文