DataWorks-基础
摘要：DataWorks-简介 1、介绍 DataWorks 是阿里云推出的一款一站式大数据开发与治理平台，旨在帮助企业高效地进行数据集成、数据开发、数据治理和数据服务化。它提供了从数据采集、清洗、加工到数据分析的全流程支持，同时具备强大的数据管理和运维能力。 2、DataWorks-核心功能 1. 数据
阅读全文
posted @ 2025-02-20 13:41
随笔分类 - 9-2、ETL相关
Idea-Scala 的安装
摘要：Idea-Scala 的安装 登录官方网站 https://www.scala-lang.org/download/ https://www.scala-lang.org/download/all.html 下载 https://www.scala-lang.org/download/2.11.12
阅读全文
posted @ 2025-02-07 18:09
Kafka-阿里云_消费情况查看
摘要：Kafka-阿里云_消费情况查看 1、 2、 3、 4、通过配置文件，找到对应的topic 5、定位topic,查看操作情况 6、 7、
阅读全文
posted @ 2025-02-07 17:22
Kafka-常用命令
摘要：kafka介绍 kafka官网：http://kafka.apache.org/ 各个名词解释： *producer：发布消息的对象称之为消息生产者（Kafka topic producer） *topic：Kafka将消息分门别类，每一类的消息称之为一个主题（Topic） *consumer：订阅
阅读全文
posted @ 2023-03-03 18:47
Kafka-VM安装
摘要：官网下载 http://kafka.apache.org/downloads 下载制定版本 2.11-0.10.1.0 现在对应安装包之后，上传到 centos 系统，进行对应解压操作 修改配置文件设置 修改文件中的内容 启动kafka 服务 kafka-server-start.sh ../con
阅读全文
posted @ 2023-03-03 18:36
ZooKeeper-常用指令
摘要：### Zookeeper 服务常用命令 ```shell启动 ZooKeeper 服务：./zkServer.sh start查看 ZooKeeper 服务状态：./zkServer.sh status停止 ZooKeeper 服务：./zkServer.sh stop重启 ZooKeeper 服
阅读全文
posted @ 2023-03-03 18:00
ZooKeeper-VM安装
摘要：集群搭建规划 服务器IP 主机名 myid的值 192.168.200.100 node01 1 192.168.200.110 node02 2 192.168.200.120 node03 3 下载zookeeper的压缩包，下载网址 http://archive.apache.org/dist
阅读全文
posted @ 2023-03-03 17:58
Flink-FlinkSql 练习
摘要：Maven 的pom文件 批数据处理案例01 代码实现： package com.wanghao.sql import org.apache.flink.api.scala._ import org.apache.flink.table.api.{Table, TableEnvironment} i
阅读全文
posted @ 2023-03-03 15:54
Flink-综合练习
摘要：案例需求： 假设用户需要每个1秒钟需要统计4秒钟 窗口中数据的量，然后对统计的结果值进行checkpoint处理 数据规划 使用自定义算子每秒钟产生大约10000条数据 产生的数据为一个四元组（Long，String，String，Interger）-- （id,name,info,count） 数
阅读全文
posted @ 2023-03-03 15:20
