随笔分类 -  bdv014-PB离线数仓

1 2 3 4 下一页

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 19:26 yanqi_vip 阅读(3) 评论(0) 推荐(0) 编辑

|NO.Z.00078|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 19:26 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

|NO.Z.00076|——————————|BigDataEnd|——|Hadoop&PB级数仓.V05|——|PB数仓.v05|数据可视化|
摘要:一、数据可视化 ### 数据可视化 ~~~ ADS => DataX => MySQL => 浏览器呈现 ~~~ 对统计数据进行展示一般都是以图、表方式呈现; ~~~ 常见方式有 ECharts、HighCharts、G2、Chart.js 、FineBI等。 ~~~ 本项目使用SSM(Spring 阅读全文

posted @ 2022-04-11 19:25 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

|NO.Z.00077|——————————|BigDataEnd|——|Hadoop&PB级数仓.V06|——|PB数仓.v06|总结|
摘要:一、项目总结与回顾 ## 数据仓库概念 ~~~ 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。 ~~~ OLAP(数据仓库)与OLTP(数据库)的区别; ~~~ 数据仓库分层:ODS、DWD、DWS、ADS ## 为什么要分层: ~~~ 清晰的数据结构 ~~ 阅读全文

posted @ 2022-04-11 19:25 yanqi_vip 阅读(27) 评论(0) 推荐(0) 编辑

|NO.Z.00074|——————————|^^ 部署 ^^|——|Hadoop&PB级数仓.V03|——|PB数仓.v03|Griffin数据质量监控工具|Griffin部署|
摘要:一、Griffin编译准备 ### 软件解压缩 [root@hadoop02 ~]# ls /opt/yanqi/software/griffin-griffin-0.5.0.zip /opt/yanqi/software/griffin-griffin-0.5.0.zip [root@hadoop 阅读全文

posted @ 2022-04-11 19:24 yanqi_vip 阅读(31) 评论(0) 推荐(0) 编辑

|NO.Z.00075|——————————|BigDataEnd|——|Hadoop&PB级数仓.V04|——|PB数仓.v04|Griffin数据质量监控工具|数据质量监控|
摘要:一、与电商业务集成 ### 数据资产:单击右上角的 DataAssets 来检查数据资产 ~~~ 这里的数据数据资产主要是保存在Hive上的表,要求 Hive Metastore 服务正常 ### 创建 measure ~~~ 如果要测量源和目标之间的匹配率,请选择 Accuracy(精确度验证) 阅读全文

posted @ 2022-04-11 19:24 yanqi_vip 阅读(26) 评论(0) 推荐(0) 编辑

|NO.Z.00073|——————————|^^ 部署 ^^|——|Hadoop&PB级数仓.V02|——|PB数仓.v02|Griffin数据质量监控工具|部署Griffin&spark&livy&ES|
摘要:一、安装概述 ### 相关依赖:重点讲解 Griffin,不对依赖组件做过多讲解,所有组件均采用单机模式安装。 ~~~ JDK (1.8 or later versions) ~~~ MySQL(version 5.6及以上) ~~~ Hadoop (2.6.0 or later) ~~~ Hive 阅读全文

posted @ 2022-04-11 19:23 yanqi_vip 阅读(23) 评论(0) 推荐(0) 编辑

|NO.Z.00072|——————————|BigDataEnd|——|Hadoop&PB级数仓.V01|——|PB数仓.v01|Griffin数据质量监控工具|概述|
摘要:一、数据质量监控工具:Griffin(扩展) ### 为什么要做数据质量监控:garbage in garbage out ~~~ # 数据不一致 ~~~ 企业早期没有进行统一规划设计,大部分信息系统是逐步迭代建设的, ~~~ 系统建设时间长短各异,各系统数据标准也不同。 ~~~ 企业业务系统更关注 阅读全文

posted @ 2022-04-11 19:22 yanqi_vip 阅读(54) 评论(0) 推荐(0) 编辑

|NO.Z.00071|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-11 19:21 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

|NO.Z.00070|——————————|BigDataEnd|——|Hadoop&PB级数仓.V04|——|PB数仓.v04|元数据管理工具Atlas|电商业务集成|血缘关系|
摘要:一、与电商业务集成 ### 电商业务集成环境准备 ~~~ 开发(建库、建表) => 导入数据 => 执行Hive脚本 ~~~ 导入Hive的血缘关系 二、电商业务建表 ### 电商业务建表语句(可省略): ~~~ 创建DataBases; CREATE DATABASE ODS; CREATE DA 阅读全文

posted @ 2022-04-11 19:20 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.Z.00068|——————————|^^ 部署 ^^|——|Hadoop&PB级数仓.V02|——|PB数仓.v02|元数据管理工具Atlas|部署配置|账户密码|
摘要:一、安装环境准备 ### 安装概述说明 ~~~ 重点讲解Atlas,不对Atlas的依赖组件做讲解,组件均采用单机模式安装。 ~~~ 编译才能安装。 ### 安装依赖 ~~~ Maven 3.6.3(完成) ~~~ HBase 1.1.2(不需要安装,需要软件包) ~~~ Solr 5.5.1(不需 阅读全文

posted @ 2022-04-11 19:19 yanqi_vip 阅读(53) 评论(0) 推荐(0) 编辑

|NO.Z.00069|——————————|BigDataEnd|——|Hadoop&PB级数仓.V03|——|PB数仓.v03|元数据管理工具Atlas|Hive血缘关系导入|
摘要:一、Hive血缘关系导入 ### 配置HIVE_HOME环境变量; ~~~ 将atlas服务下atlas-application.properties配置文件拷贝到hive服务目录下 ### 创建软连接: ~~~ 将 $ATLAS_HOME/conf/atlasapplication.propert 阅读全文

posted @ 2022-04-11 19:19 yanqi_vip 阅读(30) 评论(0) 推荐(0) 编辑

|NO.Z.00067|——————————|BigDataEnd|——|Hadoop&PB级数仓.V01|——|PB数仓.v01|元数据管理工具Atlas|数仓元数据管理|简介|
摘要:一、元数据管理工具Atlas(扩展) ### 数据仓库元数据管理 ~~~ 元数据(MetaData)狭义的解释是用来描述数据的数据。 ~~~ 广义的来看,除了业务逻辑直接读写处理的那些业务数据, ~~~ 所有其它用来维持整个系统运转所需的信息/数据都可以叫作元数据。 ~~~ 如数据库中表的Schem 阅读全文

posted @ 2022-04-11 19:18 yanqi_vip 阅读(38) 评论(0) 推荐(0) 编辑

|NO.Z.00066|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-10 15:02 yanqi_vip 阅读(5) 评论(0) 推荐(0) 编辑

|NO.Z.00064|——————————|BigDataEnd|——|Hadoop&PB级数仓.V06|——|PB数仓.v06|调度系统Airflow|入门案例HelloWorld|
摘要:一、Airflow核心概念 ### Airflow核心概念 ~~~ DAGs:有向无环图(Directed Acyclic Graph),将所有需要运行的tasks按照依赖关系组织起来, ~~~ 描述的是所有tasks执行的顺序; ### Operators:Airflow内置了很多operator 阅读全文

posted @ 2022-04-10 15:01 yanqi_vip 阅读(40) 评论(0) 推荐(0) 编辑

|NO.Z.00065|——————————|BigDataEnd|——|Hadoop&PB级数仓.V07|——|PB数仓.v07|调度系统Airflow|核心交易|调度任务集成|
摘要:一、核心交易调度脚本的角度顺序 ### 核心交易分析 ~~~ depends_on_past ,设置为True时,上一次调度成功了,才可以触发。 # 加载ODS数据(DataX迁移数据) /data/yanqidw/script/trade/ods_load_trade.sh # 加载DIM层数据 阅读全文

posted @ 2022-04-10 15:01 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

|NO.Z.00062|——————————|^^ 配置 ^^|——|Hadoop&PB级数仓.V04|——|PB数仓.v04|调度系统Airflow|禁用默认|DAG任务|
摘要:一、Airflow.UI界面概述 ### Airflow.UI界面概述 ~~~ Trigger Dag:人为执行触发 ~~~ Tree View:当dag执行的时候,可以点入,查看每个task的执行状态(基于树状视图)。 ~~~ 状态:success、running、failed、skipped、r 阅读全文

posted @ 2022-04-10 15:00 yanqi_vip 阅读(39) 评论(0) 推荐(0) 编辑

|NO.Z.00063|——————————|BigDataEnd|——|Hadoop&PB级数仓.V05|——|PB数仓.v05|调度系统Airflow|crontab|简介案例|
摘要:一、crontab ### Crontab简介 ~~~ Linux 系统则是由 cron (crond) 这个系统服务来控制的。 ~~~ Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。 ~~~ Linux 系统也提供了Linux用户控制计划任务的命令:crontab 阅读全文

posted @ 2022-04-10 15:00 yanqi_vip 阅读(47) 评论(0) 推荐(0) 编辑

|NO.Z.00060|——————————|^^ 部署 ^^|——|Hadoop&PB级数仓.V02|——|PB数仓.v02|调度系统Airflow|安装部署|
摘要:一、Airflow安装部署 ### 安装依赖 ~~~ CentOS 7.X ~~~ Python 3.5或以上版本(推荐) ~~~ MySQL 5.7.x ~~~ Apache-Airflow 1.10.11 ~~~ 虚拟机可上网,需在线安装包 ### 后面要安装的三个软件Airflow、Atlas 阅读全文

posted @ 2022-04-10 14:59 yanqi_vip 阅读(51) 评论(0) 推荐(0) 编辑

|NO.Z.00061|——————————|^^ 配置 ^^|——|Hadoop&PB级数仓.V03|——|PB数仓.v03|调度系统Airflow|修改默认时区|
摘要:一、修改时区 ### 修改时区 ~~~ Airflow默认使用UTC时间,在中国时区需要用+8小时。 ~~~ 将UTC修改为中国时区,需要修改Airflow源码。 ### 在修改 $AIRFLOW_HOME/airflow.cfg 文件 (env) [root@hadoop02 ~]# vim /o 阅读全文

posted @ 2022-04-10 14:59 yanqi_vip 阅读(82) 评论(0) 推荐(0) 编辑

1 2 3 4 下一页
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

导航

统计

点击右上角即可分享
微信分享提示