11 2022 档案

Flin TableAPI & SQL （一）
摘要：Flink TableAPI和SQL的基本运用介绍 在Flink中，TableAPI 和 SQL 可以看作是一体的，TableAPI可以将环境中的数据转换成对应的一张表，或者将表里的转换输出到外部系统，然后可以执行SQL语句来进行一个查询和统计。 1、 快速上手 添加相关依赖： <dependenc 阅读全文
posted @ 2022-11-17 17:27 MrSponge 阅读(91) 评论(0) 推荐(0) 编辑
Hive的简单介绍与使用
摘要：hive入门 1. Hive概述 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 1.2 hive的本质 Hive本质：将HQL转化成MapRed 阅读全文
posted @ 2022-11-13 19:26 MrSponge 阅读(275) 评论(0) 推荐(0) 编辑
HDFS的简单介绍和应用
摘要：hdfs应用 1. hdfs概述 1.1 产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 什么是hdfs H 阅读全文
posted @ 2022-11-12 22:02 MrSponge 阅读(700) 评论(0) 推荐(0) 编辑
关于Flink里的处理函数的简单介绍
摘要：Process Flink 提供了 8 个不同的处理函数： （1） ProcessFunction 最基本的处理函数，基于DataStream 直接调用.process()时作为参数传入。 （2） KeyedProcessFunction 对流按键分区后的处理函数，基于 KeyedStream 调用 阅读全文
posted @ 2022-11-11 21:27 MrSponge 阅读(53) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示