随笔分类 -  bdv026-EB实时数仓

1 2 3 4 下一页

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:20 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

|NO.Z.00078|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:20 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.Z.00077|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V03|——|实时数仓.v03|在Hadoop集群环境运行实时数仓程序.V3|
摘要:一、运行OrderStatistics ### 复制类的绝对路径 ~~~ # 选中类名:Copy Reference dw.dws.OrderStatistics ### 运行类 ~~~ # 运行主类:OrderStatistics [root@hadoop02 ~]# /opt/yanqi/ser 阅读全文

posted @ 2022-04-16 14:19 yanqi_vip 阅读(17) 评论(0) 推荐(0) 编辑

|NO.Z.00075|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V01|——|实时数仓.v01|在Hadoop集群环境运行实时数仓程序.V1|
摘要:一、在真实服务器集群环境上运行:在pom.xml下写入打包插件 <build> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory>src/test/</testSourceDirectory> <plugin 阅读全文

posted @ 2022-04-16 14:18 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.Z.00076|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V02|——|实时数仓.v02|在Hadoop集群环境运行实时数仓程序.V2|
摘要:一、启动集群环境相关服务 ### 启动zookeeper/kafka服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务:所有节点 [root@hadoop01 ~]# kafka-server-start.s 阅读全文

posted @ 2022-04-16 14:18 yanqi_vip 阅读(8) 评论(0) 推荐(0) 编辑

|NO.Z.00074|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:17 yanqi_vip 阅读(15) 评论(0) 推荐(0) 编辑

|NO.Z.00072|——————————|BigDataEnd|——|Hadoop&实时数仓.V03|——|实时数仓.v03|Flink双流Join&基于window双流Join|
摘要:一、基于window双流Join ### 基于window双流Join ### 基于window双流Join ~~~ input1:(1,1999L) (1,2001L) ~~~ input2:(1,1001L),(1,1002L),(1,3999) 二、编程实现基于window双流Join ### 阅读全文

posted @ 2022-04-16 14:17 yanqi_vip 阅读(16) 评论(0) 推荐(0) 编辑

|NO.Z.00073|——————————|BigDataEnd|——|Hadoop&实时数仓.V04|——|实时数仓.v04|Flink双流Join&connect CoProcessFunction处理双流数据|
摘要:一、connect CoProcessFunction ### connect CoProcessFunction处理双流数据 ~~~ # input1: OrderEvent(orderId:String,eventType:String,eventTime:Long) : 订单 流式数据 ("o 阅读全文

posted @ 2022-04-16 14:17 yanqi_vip 阅读(16) 评论(0) 推荐(0) 编辑

|NO.Z.00070|——————————|BigDataEnd|——|Hadoop&实时数仓.V01|——|实时数仓.v01|数据质量|
摘要:一、实时数仓——数据质量 ### 数据质量概述 ~~~ 流程图描述了一般的实时数据计算流程,接收日志或者MQ到kafka, ~~~ 用Flink进行处理和计算(指标),将最终计算结果(指标)存储在redis中, ~~~ 最后查询出redis中的数据给大屏、看板等展示。 ~~~ 但是在整个过程中,不得 阅读全文

posted @ 2022-04-16 14:16 yanqi_vip 阅读(40) 评论(0) 推荐(0) 编辑

|NO.Z.00071|——————————|BigDataEnd|——|Hadoop&实时数仓.V02|——|实时数仓.v02|Flink双流Join&基于时间的双流Join|
摘要:一、Flink双流Join ### Flink双流Join ~~~ Join大体分类只有两种:Window Join和Interval Join。 ~~~ # Window Join ~~~ 又可以根据Window的类型细分出3种: ~~~ Tumbling Window Join、Sliding 阅读全文

posted @ 2022-04-16 14:16 yanqi_vip 阅读(21) 评论(0) 推荐(0) 编辑

|NO.Z.00068|——————————|^^ 配置 ^^|——|Hadoop&实时数仓.V08|——|可视化.v08|监控:grafana可视化实时redis数据.V8|
摘要:一、安装grafana-redis插件 ### 安装grafanan-redis插件 ~~~ # 安装grafana-redis插件 [root@hadoop00 ~]# /opt/yanqi/servers/grafana/bin/grafana-cli plugins install redis 阅读全文

posted @ 2022-04-16 14:15 yanqi_vip 阅读(101) 评论(0) 推荐(0) 编辑

|NO.Z.00069|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:15 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.Z.00066|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V06|——|可视化.v06|监控:grafana部署.V6|
摘要:一、通过grafana工具监控,可视化效果友好: ### 下载grafana版本 ~~~ # 下载grafana版本包 [root@hadoop00 software]# wget -c https://dl.grafana.com/oss/release/grafana-7.3.1.linux-a 阅读全文

posted @ 2022-04-16 14:14 yanqi_vip 阅读(27) 评论(0) 推荐(0) 编辑

|NO.Z.00067|——————————|^^ 配置 ^^|——|Hadoop&实时数仓.V07|——|可视化.v07|监控:grafana可视化flink指标.V7|
摘要:一、在prometheus下添加数据源 ### 配置数据源流程 ~~~ ——>http://hadoop00:3000——>Configuration——>Data Sources——> ~~~ ——>Add data source——>Prometheus——> ~~~ ——>Name:prome 阅读全文

posted @ 2022-04-16 14:14 yanqi_vip 阅读(13) 评论(0) 推荐(0) 编辑

|NO.Z.00064|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V04|——|可视化.v04|监控:pushgateway部署.V4|
摘要:一、部署pushgateway: ### pushgateway ~~~ Pushgateway 是 Prometheus 生态中一个重要工具,使用它的原因主要是: ~~~ Prometheus 采用 pull 模式,可能由于不在一个子网或者防火墙原因, ~~~ 导致 Prometheus 无法直接 阅读全文

posted @ 2022-04-16 14:13 yanqi_vip 阅读(26) 评论(0) 推荐(0) 编辑

|NO.Z.00065|——————————|^^ 配置 ^^|——|Hadoop&实时数仓.V05|——|可视化.v05|监控:Flink配置.V5|
摘要:一、修改flink配置,开放flink被监控端口 ### 把prometheus的jar包复制到flink的lib目录下 ~~~ # 把prometheus的jar包复制到flink的lib目录下 ~~~ # prometheus的jar包的地址在flink的plugin目录下:/opt/yanqi 阅读全文

posted @ 2022-04-16 14:13 yanqi_vip 阅读(21) 评论(0) 推荐(0) 编辑

|NO.Z.00062|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V02|——|可视化.v02|监控:Prometheus部署.V2|
摘要:一、prometheus部署:安装go语言环境 ### 下载版本包并解压 ~~~ # 由于Prometheus 是用golang开发的,所以首先安装一个go环境,Go语言是跨平台,支持Windows、Linux、 ~~~ # Windows :go1.8.3.windows-amd64.msi (7 阅读全文

posted @ 2022-04-16 14:12 yanqi_vip 阅读(110) 评论(0) 推荐(0) 编辑

|NO.Z.00063|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V03|——|可视化.v03|监控:node_exporter部署.V3|
摘要:一、部署prometheus-exporter ### 在系统层用作系统监控exporter ~~~ # 下载exporter版本包,主机是centos系统;因此用的监控export是node_exporter-0.16.0.linux-amd64.tar.gz , [root@hadoop00 s 阅读全文

posted @ 2022-04-16 14:12 yanqi_vip 阅读(15) 评论(0) 推荐(0) 编辑

|NO.Z.00061|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V01|——|可视化.v01|监控:Prometheus部署.V1|
摘要:一、系统实时监控&可视化 ### 普罗米修斯Prometheus ~~~ # 功能:在业务层用作埋点系统 ~~~ Prometheus支持多种语言(Go,java,python,ruby官方提供客户端, ~~~ 其他语言有第三方开源客户端)。我们可以通过客户端方便的对核心业务进行埋点。 ~~~ 如下 阅读全文

posted @ 2022-04-16 14:11 yanqi_vip 阅读(16) 评论(0) 推荐(0) 编辑

|NO.Z.00059|——————————|BigDataEnd|——|Hadoop&实时数仓.V39|——|项目.v39|需求六:数据处理&支付异常.V2|——|编程实现|
摘要:一、编程实现:交易支付异常统计 ### 编程实现:样例类:OrderDetail package modes case class OrderDetail(orderId:String, status:String, orderCreateTime:String, price:Double) ### 阅读全文

posted @ 2022-04-16 14:10 yanqi_vip 阅读(27) 评论(0) 推荐(0) 编辑

1 2 3 4 下一页
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

导航

统计

点击右上角即可分享
微信分享提示