随笔分类 -  dov002-EB实时数仓

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:52 yanqi_vip 阅读(9) 评论(0) 推荐(0) 编辑

|NO.Z.00014|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:52 yanqi_vip 阅读(11) 评论(0) 推荐(0) 编辑

|NO.Z.00013|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v13|——|EbProject.v13|可视化&grafana可视化实时redis数据.V8|
摘要:一、安装grafana-redis插件 ### 安装grafanan-redis插件 ~~~ # 安装grafana-redis插件 [root@hadoop00 ~]# /opt/yanqi/servers/grafana/bin/grafana-cli plugins install redis 阅读全文

posted @ 2022-04-17 15:52 yanqi_vip 阅读(33) 评论(0) 推荐(0) 编辑

|NO.Z.00012|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v12|——|EbProject.v12|可视化&grafana可视化flink指标.V7|
摘要:一、在prometheus下添加数据源 ### 配置数据源流程 ~~~ ——>http://hadoop00:3000——>Configuration——>Data Sources——> ~~~ ——>Add data source——>Prometheus——> ~~~ ——>Name:prome 阅读全文

posted @ 2022-04-17 15:51 yanqi_vip 阅读(14) 评论(0) 推荐(0) 编辑

|NO.Z.00010|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v10|——|EbProject.v10|可视化&Flink配置.V5|
摘要:一、修改flink配置,开放flink被监控端口 ### 把prometheus的jar包复制到flink的lib目录下 ~~~ # 把prometheus的jar包复制到flink的lib目录下 ~~~ # prometheus的jar包的地址在flink的plugin目录下:/opt/yanqi 阅读全文

posted @ 2022-04-17 15:50 yanqi_vip 阅读(36) 评论(0) 推荐(0) 编辑

|NO.Z.00011|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v11|——|EbProject.v11|可视化&grafana部署.V6|
摘要:一、通过grafana工具监控,可视化效果友好: ### 下载grafana版本 ~~~ # 下载grafana版本包 [root@hadoop00 software]# wget -c https://dl.grafana.com/oss/release/grafana-7.3.1.linux-a 阅读全文

posted @ 2022-04-17 15:50 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00008|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v08|——|EbProject.v08|可视化&node_exporter部署.V3|
摘要:一、部署prometheus-exporter ### 在系统层用作系统监控exporter ~~~ # 下载exporter版本包,主机是centos系统;因此用的监控export是node_exporter-0.16.0.linux-amd64.tar.gz , [root@hadoop00 s 阅读全文

posted @ 2022-04-17 15:49 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00009|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v09|——|EbProject.v09|可视化&pushgateway部署.V4|
摘要:一、部署pushgateway: ### pushgateway ~~~ Pushgateway 是 Prometheus 生态中一个重要工具,使用它的原因主要是: ~~~ Prometheus 采用 pull 模式,可能由于不在一个子网或者防火墙原因, ~~~ 导致 Prometheus 无法直接 阅读全文

posted @ 2022-04-17 15:49 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00006|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v06|——|EbProject.v06|可视化&Prometheus部署.V1|
摘要:一、系统实时监控&可视化 ### 普罗米修斯Prometheus ~~~ # 功能:在业务层用作埋点系统 ~~~ Prometheus支持多种语言(Go,java,python,ruby官方提供客户端, ~~~ 其他语言有第三方开源客户端)。我们可以通过客户端方便的对核心业务进行埋点。 ~~~ 如下 阅读全文

posted @ 2022-04-17 15:48 yanqi_vip 阅读(30) 评论(0) 推荐(0) 编辑

|NO.Z.00007|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v07|——|EbProject.v07|可视化&Prometheus部署.V2|
摘要:一、prometheus部署:安装go语言环境 ### 下载版本包并解压 ~~~ # 由于Prometheus 是用golang开发的,所以首先安装一个go环境,Go语言是跨平台,支持Windows、Linux、 ~~~ # Windows :go1.8.3.windows-amd64.msi (7 阅读全文

posted @ 2022-04-17 15:48 yanqi_vip 阅读(46) 评论(0) 推荐(0) 编辑

|NO.Z.00003|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v03|——|EbProject.v03|canal部署&Canal部署|
摘要:一、Canal 安装说明 ### 单机模式,也可以将Canal搭建集群模式。 ~~~ 如果要搭建集群模式,可将Canal目录分发给其他虚拟机,然后在各节点中分别启动Canal。 ~~~ 这种Zookeeper为观察者监控的模式, ~~~ 只能实现高可用,而不是负载均衡, ~~~ 即同一时间点只有一个 阅读全文

posted @ 2022-04-17 15:47 yanqi_vip 阅读(28) 评论(0) 推荐(0) 编辑

|NO.Z.00004|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v04|——|EbProject.v04|canal部署&kafka客户端测试|
摘要:一、Kafka客户端测试 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/yan 阅读全文

posted @ 2022-04-17 15:47 yanqi_vip 阅读(23) 评论(0) 推荐(0) 编辑

|NO.Z.00005|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v05|——|EbProject.v05|Flume配置&Flume配置|
摘要:一、Flume配置文件: ### flume配置文件:event-conf.properties ~~~ # 写入Flume配置文件:event-conf.properties [root@hadoop02 ~]# vim /opt/yanqi/servers/flume-1.9.0/conf/ev 阅读全文

posted @ 2022-04-17 15:47 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

|NO.Z.00002|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v02|——|EbProject.v02|canal部署&配置MySQL的binlog|
摘要:一、配置MySQL的binlog ### 常见的binlog命令 ~~~ # 是否启用binlog日志 mysql> show variables like 'log_bin'; + + + | Variable_name | Value | + + + | log_bin | ON | + + + 阅读全文

posted @ 2022-04-17 15:46 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

|NO.Z.00001|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v01|——|EbProject.v01|业务数据库表结构|
摘要:一、业务数据库表结构 ### 业务数据库:数据源 ~~~ 交易订单表(yanqi_trade_orders) ~~~ 订单产品表(yanqi_order_product) ~~~ 产品信息表(yanqi_product_info) ~~~ 产品分类表(yanqi_product_category) 阅读全文

posted @ 2022-04-17 15:46 yanqi_vip 阅读(29) 评论(0) 推荐(0) 编辑

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:45 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

导航

统计

点击右上角即可分享
微信分享提示