摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、运行OrderStatistics ### 复制类的绝对路径 ~~~ # 选中类名:Copy Reference dw.dws.OrderStatistics ### 运行类 ~~~ # 运行主类:OrderStatistics [root@hadoop02 ~]# /opt/yanqi/ser
阅读全文
摘要:一、在真实服务器集群环境上运行:在pom.xml下写入打包插件 <build> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory>src/test/</testSourceDirectory> <plugin
阅读全文
摘要:一、启动集群环境相关服务 ### 启动zookeeper/kafka服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务:所有节点 [root@hadoop01 ~]# kafka-server-start.s
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、基于window双流Join ### 基于window双流Join ### 基于window双流Join ~~~ input1:(1,1999L) (1,2001L) ~~~ input2:(1,1001L),(1,1002L),(1,3999) 二、编程实现基于window双流Join ###
阅读全文
摘要:一、connect CoProcessFunction ### connect CoProcessFunction处理双流数据 ~~~ # input1: OrderEvent(orderId:String,eventType:String,eventTime:Long) : 订单 流式数据 ("o
阅读全文
摘要:一、实时数仓——数据质量 ### 数据质量概述 ~~~ 流程图描述了一般的实时数据计算流程,接收日志或者MQ到kafka, ~~~ 用Flink进行处理和计算(指标),将最终计算结果(指标)存储在redis中, ~~~ 最后查询出redis中的数据给大屏、看板等展示。 ~~~ 但是在整个过程中,不得
阅读全文
摘要:一、Flink双流Join ### Flink双流Join ~~~ Join大体分类只有两种:Window Join和Interval Join。 ~~~ # Window Join ~~~ 又可以根据Window的类型细分出3种: ~~~ Tumbling Window Join、Sliding
阅读全文
摘要:一、安装grafana-redis插件 ### 安装grafanan-redis插件 ~~~ # 安装grafana-redis插件 [root@hadoop00 ~]# /opt/yanqi/servers/grafana/bin/grafana-cli plugins install redis
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、通过grafana工具监控,可视化效果友好: ### 下载grafana版本 ~~~ # 下载grafana版本包 [root@hadoop00 software]# wget -c https://dl.grafana.com/oss/release/grafana-7.3.1.linux-a
阅读全文
摘要:一、在prometheus下添加数据源 ### 配置数据源流程 ~~~ ——>http://hadoop00:3000——>Configuration——>Data Sources——> ~~~ ——>Add data source——>Prometheus——> ~~~ ——>Name:prome
阅读全文
摘要:一、部署pushgateway: ### pushgateway ~~~ Pushgateway 是 Prometheus 生态中一个重要工具,使用它的原因主要是: ~~~ Prometheus 采用 pull 模式,可能由于不在一个子网或者防火墙原因, ~~~ 导致 Prometheus 无法直接
阅读全文
摘要:一、修改flink配置,开放flink被监控端口 ### 把prometheus的jar包复制到flink的lib目录下 ~~~ # 把prometheus的jar包复制到flink的lib目录下 ~~~ # prometheus的jar包的地址在flink的plugin目录下:/opt/yanqi
阅读全文
摘要:一、prometheus部署:安装go语言环境 ### 下载版本包并解压 ~~~ # 由于Prometheus 是用golang开发的,所以首先安装一个go环境,Go语言是跨平台,支持Windows、Linux、 ~~~ # Windows :go1.8.3.windows-amd64.msi (7
阅读全文
摘要:一、部署prometheus-exporter ### 在系统层用作系统监控exporter ~~~ # 下载exporter版本包,主机是centos系统;因此用的监控export是node_exporter-0.16.0.linux-amd64.tar.gz , [root@hadoop00 s
阅读全文
摘要:一、系统实时监控&可视化 ### 普罗米修斯Prometheus ~~~ # 功能:在业务层用作埋点系统 ~~~ Prometheus支持多种语言(Go,java,python,ruby官方提供客户端, ~~~ 其他语言有第三方开源客户端)。我们可以通过客户端方便的对核心业务进行埋点。 ~~~ 如下
阅读全文
摘要:一、编程实现:交易支付异常统计 ### 编程实现:样例类:OrderDetail package modes case class OrderDetail(orderId:String, status:String, orderCreateTime:String, price:Double) ###
阅读全文