03 2023 档案

摘要:FlinkSQL自定义函数开发本次需求场景主要为实现将flinksql中collect()函数输出的Mutiset(VARCHAR<100>)多行结果转换为字符串。 一、FlinkSQL自定义函数分类 Flink SQL 的自定义函数是用户可以自行编写的一种函数,用于扩展 Flink SQL 的功能。自定义函数可以在 SQL 查 阅读全文
posted @ 2023-03-31 10:22 ^王晓明^ 阅读(1989) 评论(0) 推荐(0)
摘要:基于datax抽取mysql数据到HDFS一、安装datax 通过https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202210/datax.tar.gz这个地址下载datax.tar.gz,解压到某个目录,如我的目录/opt/conf/datax-20230301,解压完后会在当前 阅读全文
posted @ 2023-03-06 17:18 ^王晓明^ 阅读(761) 评论(0) 推荐(0)
摘要:压测工具Jmeter介绍及使用一、压测工具选型 1.1、前言 压力测试是每一个Web应用程序上线之前都需要做的一个测试,他可以帮助我们发现系统中的瓶颈问题,减少发布到生产环境后出问题的几率;预估系统的承载能力,使我们能根据其做出一些应对措施。所以压力测试是一个非常重要的步骤,关于java应用的压力测试,业界常用工具为Apache 阅读全文
posted @ 2023-03-06 17:06 ^王晓明^ 阅读(2239) 评论(2) 推荐(3)
摘要:数据转换工具DBT介绍及实操一、什么是DBT dbt (data build tool)是一款流行的开源数据转换工具,能够通过 SQL 实现数据转化,将命令转化为表或者视图,提升数据分析师的工作效率。dbt 主要功能在于转换数据库或数据仓库中的数据,在 E(Extract)、L(Load)、T(Transform) 的流程中, 阅读全文
posted @ 2023-03-02 16:56 ^王晓明^ 阅读(9690) 评论(0) 推荐(1)