随笔分类 -  dov001-PB离线数仓

1 2 下一页

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:44 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

|NO.Z.00026|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:43 yanqi_vip 阅读(5) 评论(0) 推荐(0) 编辑

|NO.Z.00025|——————————|^^ 修订 ^^|——|Hadoop&PB级离线数仓.v04|——|Griffin.v04|数据可视化|
摘要:一、数据可视化 ### 数据可视化 ~~~ ADS => DataX => MySQL => 浏览器呈现 ~~~ 对统计数据进行展示一般都是以图、表方式呈现; ~~~ 常见方式有 ECharts、HighCharts、G2、Chart.js 、FineBI等。 ~~~ 本项目使用SSM(Spring 阅读全文

posted @ 2022-04-17 15:43 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.Z.00023|——————————|^^ 部署 ^^|——|Hadoop&PB级离线数仓.v02|——|Griffin.v02|Griffin部署|
摘要:一、Griffin编译准备 ### 软件解压缩 [root@hadoop02 ~]# ls /opt/yanqi/software/griffin-griffin-0.5.0.zip /opt/yanqi/software/griffin-griffin-0.5.0.zip [root@hadoop 阅读全文

posted @ 2022-04-17 15:42 yanqi_vip 阅读(57) 评论(0) 推荐(0) 编辑

|NO.Z.00024|——————————|^^ 修订 ^^|——|Hadoop&PB级离线数仓.v03|——|Griffin.v03|数据质量监控|
摘要:一、与电商业务集成 ### 数据资产:单击右上角的 DataAssets 来检查数据资产 ~~~ 这里的数据数据资产主要是保存在Hive上的表,要求 Hive Metastore 服务正常 ### 创建 measure ~~~ 如果要测量源和目标之间的匹配率,请选择 Accuracy(精确度验证) 阅读全文

posted @ 2022-04-17 15:42 yanqi_vip 阅读(21) 评论(0) 推荐(0) 编辑

|NO.Z.00022|——————————|^^ 修订 ^^|——|Hadoop&PB级离线数仓.v01|——|Griffin.v01|Griffin部署&spark&livy&ES|
摘要:一、安装概述 ### 相关依赖:重点讲解 Griffin,不对依赖组件做过多讲解,所有组件均采用单机模式安装。 ~~~ JDK (1.8 or later versions) ~~~ MySQL(version 5.6及以上) ~~~ Hadoop (2.6.0 or later) ~~~ Hive 阅读全文

posted @ 2022-04-17 15:41 yanqi_vip 阅读(15) 评论(0) 推荐(0) 编辑

|NO.Z.00021|——————————|Deployment|——|Hadoop&PB级离线数仓.v03|——|Atlas.v03|Atlas与电商业务集成|血缘关系|
摘要:一、与电商业务集成 ### 电商业务集成环境准备 ~~~ 开发(建库、建表) => 导入数据 => 执行Hive脚本 ~~~ 导入Hive的血缘关系 二、电商业务建表 ### 电商业务建表语句(可省略): ~~~ # 创建DataBases; CREATE DATABASE ODS; CREATE 阅读全文

posted @ 2022-04-17 15:41 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.Z.00019|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Atlas.v01|安装配置|账户密码|
摘要:一、安装环境准备 ### 安装概述说明 ~~~ 重点讲解Atlas,不对Atlas的依赖组件做讲解,组件均采用单机模式安装。 ~~~ 编译才能安装。 ### 安装依赖 ~~~ Maven 3.6.3(完成) ~~~ HBase 1.1.2(不需要安装,需要软件包) ~~~ Solr 5.5.1(不需 阅读全文

posted @ 2022-04-17 15:40 yanqi_vip 阅读(34) 评论(0) 推荐(0) 编辑

|NO.Z.00020|——————————|Deployment|——|Hadoop&PB级离线数仓.v02|——|Atlas.v02|Hive血缘关系导入|
摘要:一、Hive血缘关系导入 ### 配置HIVE_HOME环境变量; ~~~ 将atlas服务下atlas-application.properties配置文件拷贝到hive服务目录下 ~~~ # 创建软连接: ~~~ 将 $ATLAS_HOME/conf/atlasapplication.prope 阅读全文

posted @ 2022-04-17 15:40 yanqi_vip 阅读(13) 评论(0) 推荐(0) 编辑

|NO.Z.00018|——————————|Deployment|——|Hadoop&PB级离线数仓.v05|——|Airflow.v05|Airflow入门案例HelloWorld|
摘要:一、Airflow核心概念 ### Airflow核心概念 ~~~ DAGs:有向无环图(Directed Acyclic Graph),将所有需要运行的tasks按照依赖关系组织起来, ~~~ 描述的是所有tasks执行的顺序; ### Operators:Airflow内置了很多operator 阅读全文

posted @ 2022-04-17 15:39 yanqi_vip 阅读(56) 评论(0) 推荐(0) 编辑

|NO.Z.00017|——————————|Deployment|——|Hadoop&PB级离线数仓.v04|——|Airflow.v04|crontab简介及案例|
摘要:一、crontab ### Crontab简介 ~~~ Linux 系统则是由 cron (crond) 这个系统服务来控制的。 ~~~ Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。 ~~~ Linux 系统也提供了Linux用户控制计划任务的命令:crontab 阅读全文

posted @ 2022-04-17 15:39 yanqi_vip 阅读(30) 评论(0) 推荐(0) 编辑

|NO.Z.00016|——————————|Deployment|——|Hadoop&PB级离线数仓.v03|——|Airflow.v03|禁用默认的DAG任务|
摘要:一、Airflow.UI界面概述 ### Airflow.UI界面概述 ~~~ Trigger Dag:人为执行触发 ~~~ Tree View:当dag执行的时候,可以点入,查看每个task的执行状态(基于树状视图)。 ~~~ 状态:success、running、failed、skipped、r 阅读全文

posted @ 2022-04-17 15:38 yanqi_vip 阅读(48) 评论(0) 推荐(0) 编辑

|NO.Z.00014|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Airflow.v01|安装部署|
摘要:一、Airflow安装部署 ### 安装依赖 ~~~ CentOS 7.X ~~~ Python 3.5或以上版本(推荐) ~~~ MySQL 5.7.x ~~~ Apache-Airflow 1.10.11 ~~~ 虚拟机可上网,需在线安装包 ~~~ # 备注:后面要安装的三个软件Airflow、 阅读全文

posted @ 2022-04-17 15:37 yanqi_vip 阅读(48) 评论(0) 推荐(0) 编辑

|NO.Z.00015|——————————|Deployment|——|Hadoop&PB级离线数仓.v02|——|Airflow.v02|修改默认时区|
摘要:一、修改时区 ### 修改时区 ~~~ Airflow默认使用UTC时间,在中国时区需要用+8小时。 ~~~ 将UTC修改为中国时区,需要修改Airflow源码。 ### 在修改 $AIRFLOW_HOME/airflow.cfg 文件 (env) [root@hadoop02 ~]# vim /o 阅读全文

posted @ 2022-04-17 15:37 yanqi_vip 阅读(234) 评论(0) 推荐(0) 编辑

|NO.Z.00012|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|DataX.v01|部署安装|应用案例|
摘要:一、DataX概述及安装 ### DataX概述 ~~~ DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台, ~~~ 实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、 ~~~ MaxComp 阅读全文

posted @ 2022-04-17 15:36 yanqi_vip 阅读(39) 评论(0) 推荐(0) 编辑

|NO.Z.00013|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Hive on Tez.v01|Hive on Tez|部署安装|
摘要:一、Hive on Tez概述 ### Hive on Tez ~~~ Hortonworks在2014年左右发布了Stinger Initiative, ~~~ 并进行社区分享,为的是让Hive支持更多SQL,并实现更好的性能。 ~~~ 让Hive的查询功能更强大。增加类似OVER子句的分析功能, 阅读全文

posted @ 2022-04-17 15:36 yanqi_vip 阅读(47) 评论(0) 推荐(0) 编辑

|NO.Z.00009|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Hive.v01|安装配置|
摘要:一、Hive安装配置 ### 环境准备 ~~~ Hive官网:http://hive.apache.org ~~~ 下载网址:http://archive.apache.org/dist/hive/ ~~~ 文档网址:https://cwiki.apache.org/confluence/displ 阅读全文

posted @ 2022-04-17 15:35 yanqi_vip 阅读(24) 评论(0) 推荐(0) 编辑

|NO.Z.00010|——————————|Deployment|——|Hadoop&PB级离线数仓.v02|——|Hive.v02|HiveServer2安装配置|
摘要:一、metastore远程模式配置规划: 节点 metastore client Hadoop01 √ Hadoop02 √ Hadoop05 √ 二、配置并启动HiveServer服务 ### 将Hadoop02 的 hive 安装文件拷贝到Hadoop01、Hadoop05并配置 [root@h 阅读全文

posted @ 2022-04-17 15:35 yanqi_vip 阅读(28) 评论(0) 推荐(0) 编辑

|NO.Z.00011|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Flume.v01|Flume.v1.9安装配置|
摘要:一、安装部署Flume ### 安装部署 ~~~ Flume官网地址:http://flume.apache.org/ ~~~ 文档查看地址:http://flume.apache.org/FlumeUserGuide.html ~~~ 下载地址:http://archive.apache.org/ 阅读全文

posted @ 2022-04-17 15:35 yanqi_vip 阅读(14) 评论(0) 推荐(0) 编辑

|NO.Z.00008|——————————|Deployment|——|Hadoop&PB级离线数仓.v08|——|Hadoop.v08|历史日志服务配置|
摘要:一、配置历史服务器 ### 在Yarn中运行的任务产生的日志数据不能查看, ~~~ 为了查看程序的历史运行情况,需要配置一下历史日志服务器。具体配置步骤如下: ### 配置mapred-site.xml [root@hadoop01 ~]# vim /opt/yanqi/servers/hadoop 阅读全文

posted @ 2022-04-17 15:34 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

1 2 下一页
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

导航

统计

点击右上角即可分享
微信分享提示