摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、数据可视化 ### 数据可视化 ~~~ ADS => DataX => MySQL => 浏览器呈现 ~~~ 对统计数据进行展示一般都是以图、表方式呈现; ~~~ 常见方式有 ECharts、HighCharts、G2、Chart.js 、FineBI等。 ~~~ 本项目使用SSM(Spring
阅读全文
摘要:一、Griffin编译准备 ### 软件解压缩 [root@hadoop02 ~]# ls /opt/yanqi/software/griffin-griffin-0.5.0.zip /opt/yanqi/software/griffin-griffin-0.5.0.zip [root@hadoop
阅读全文
摘要:一、与电商业务集成 ### 数据资产:单击右上角的 DataAssets 来检查数据资产 ~~~ 这里的数据数据资产主要是保存在Hive上的表,要求 Hive Metastore 服务正常 ### 创建 measure ~~~ 如果要测量源和目标之间的匹配率,请选择 Accuracy(精确度验证)
阅读全文
摘要:一、安装概述 ### 相关依赖:重点讲解 Griffin,不对依赖组件做过多讲解,所有组件均采用单机模式安装。 ~~~ JDK (1.8 or later versions) ~~~ MySQL(version 5.6及以上) ~~~ Hadoop (2.6.0 or later) ~~~ Hive
阅读全文
摘要:一、与电商业务集成 ### 电商业务集成环境准备 ~~~ 开发(建库、建表) => 导入数据 => 执行Hive脚本 ~~~ 导入Hive的血缘关系 二、电商业务建表 ### 电商业务建表语句(可省略): ~~~ # 创建DataBases; CREATE DATABASE ODS; CREATE
阅读全文
摘要:一、安装环境准备 ### 安装概述说明 ~~~ 重点讲解Atlas,不对Atlas的依赖组件做讲解,组件均采用单机模式安装。 ~~~ 编译才能安装。 ### 安装依赖 ~~~ Maven 3.6.3(完成) ~~~ HBase 1.1.2(不需要安装,需要软件包) ~~~ Solr 5.5.1(不需
阅读全文
摘要:一、Hive血缘关系导入 ### 配置HIVE_HOME环境变量; ~~~ 将atlas服务下atlas-application.properties配置文件拷贝到hive服务目录下 ~~~ # 创建软连接: ~~~ 将 $ATLAS_HOME/conf/atlasapplication.prope
阅读全文
摘要:一、Airflow核心概念 ### Airflow核心概念 ~~~ DAGs:有向无环图(Directed Acyclic Graph),将所有需要运行的tasks按照依赖关系组织起来, ~~~ 描述的是所有tasks执行的顺序; ### Operators:Airflow内置了很多operator
阅读全文
摘要:一、crontab ### Crontab简介 ~~~ Linux 系统则是由 cron (crond) 这个系统服务来控制的。 ~~~ Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。 ~~~ Linux 系统也提供了Linux用户控制计划任务的命令:crontab
阅读全文
摘要:一、Airflow.UI界面概述 ### Airflow.UI界面概述 ~~~ Trigger Dag:人为执行触发 ~~~ Tree View:当dag执行的时候,可以点入,查看每个task的执行状态(基于树状视图)。 ~~~ 状态:success、running、failed、skipped、r
阅读全文
摘要:一、Airflow安装部署 ### 安装依赖 ~~~ CentOS 7.X ~~~ Python 3.5或以上版本(推荐) ~~~ MySQL 5.7.x ~~~ Apache-Airflow 1.10.11 ~~~ 虚拟机可上网,需在线安装包 ~~~ # 备注:后面要安装的三个软件Airflow、
阅读全文
摘要:一、修改时区 ### 修改时区 ~~~ Airflow默认使用UTC时间,在中国时区需要用+8小时。 ~~~ 将UTC修改为中国时区,需要修改Airflow源码。 ### 在修改 $AIRFLOW_HOME/airflow.cfg 文件 (env) [root@hadoop02 ~]# vim /o
阅读全文
摘要:一、DataX概述及安装 ### DataX概述 ~~~ DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台, ~~~ 实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、 ~~~ MaxComp
阅读全文
摘要:一、Hive on Tez概述 ### Hive on Tez ~~~ Hortonworks在2014年左右发布了Stinger Initiative, ~~~ 并进行社区分享,为的是让Hive支持更多SQL,并实现更好的性能。 ~~~ 让Hive的查询功能更强大。增加类似OVER子句的分析功能,
阅读全文
摘要:一、Hive安装配置 ### 环境准备 ~~~ Hive官网:http://hive.apache.org ~~~ 下载网址:http://archive.apache.org/dist/hive/ ~~~ 文档网址:https://cwiki.apache.org/confluence/displ
阅读全文
摘要:一、metastore远程模式配置规划: 节点 metastore client Hadoop01 √ Hadoop02 √ Hadoop05 √ 二、配置并启动HiveServer服务 ### 将Hadoop02 的 hive 安装文件拷贝到Hadoop01、Hadoop05并配置 [root@h
阅读全文
摘要:一、安装部署Flume ### 安装部署 ~~~ Flume官网地址:http://flume.apache.org/ ~~~ 文档查看地址:http://flume.apache.org/FlumeUserGuide.html ~~~ 下载地址:http://archive.apache.org/
阅读全文
摘要:一、配置历史服务器 ### 在Yarn中运行的任务产生的日志数据不能查看, ~~~ 为了查看程序的历史运行情况,需要配置一下历史日志服务器。具体配置步骤如下: ### 配置mapred-site.xml [root@hadoop01 ~]# vim /opt/yanqi/servers/hadoop
阅读全文