Process Flink 提供了 8 个不同的处理函数: (1) ProcessFunction 最基本的处理函数,基于DataStream 直接调用.process()时作为参数传入。 (2) KeyedProcessFunction 对流按键分区后的处理函数,基于 KeyedStream 调用 Read More
posted @ 2023-01-09 15:01 MrSponge Views(119) Comments(0) Diggs(0) Edit
数据表的操作 创建数据表时,要先 use 数据库名;来确定要操作的数据库。 创建数据表 CREATE [TEMPORARY] TABLE [IF NOT EXISTS] 表名 (字段名字段类型[字段属性]...)[表选项]; 表选项:DEFAULT CHARSET=utf8 表示默认表的编码格式为u Read More
posted @ 2023-01-09 14:59 MrSponge Views(55) Comments(0) Diggs(0) Edit
单表查询 SELECT [DISTINCT] *|<字段名1,字段名2,字段名3,...> FROM <表名> [WHERE <条件查询表达式1>] [GROUP BY <字段名> [HAVING <条件表达式2>]] [ORDER BY <字段名> [ASC|DESC]] [LIMIT [OFFS Read More
posted @ 2023-01-09 14:55 MrSponge Views(83) Comments(0) Diggs(0) Edit
ClickHouse入门 版本21.7.3.14 ClickHouse是列式存储数据库(DBMS),主要用于在线分析处理查询(OLAP)。 ClickHouse对函数是大小写敏感的,不管是什么操作,还是区分大小写好点 官方文档 1、ClickHouse的特点 列式存储 对于列的聚合,计数,求和等统计 Read More
posted @ 2023-01-06 18:19 MrSponge Views(235) Comments(0) Diggs(0) Edit
创建Django 项目前置条件:已完成Python环境和PyCharm安装 Django的安装和项目的创建 | 在命令行输入pip 命令安装 pip install -i https://pypi.douban.com/simple django 或 指定相应的django版本: pip insta Read More
posted @ 2023-01-04 09:36 MrSponge Views(469) Comments(0) Diggs(0) Edit
突然有一天SecureCRT 连接虚拟机显示连接超时 在确保确保防火墙关闭的前提下 # CentOS6.5 的命令 service iptables stop # 关闭防火墙 chkconfig iptables off # 禁止开机启动 service iptables status # 查看防火 Read More
posted @ 2022-12-27 11:09 MrSponge Views(1866) Comments(0) Diggs(0) Edit
今天在编写shell脚本进行远程启动集群时没反应,查略了网上的资料后找到了适合我问题的答案 只需要在执性启动命令前,更新下配置文件就解决了(加上:source /etc/profile) for i in hadoop101 hadoop102 hadoop103 do echo " 启动 $i K Read More
posted @ 2022-12-23 16:22 MrSponge Views(1314) Comments(0) Diggs(0) Edit
# Sqoop **通过jdbc连接Mysql查看数据库列表** ~~~shell bin/sqoop list-databases --connect jdbc:mysql://hadoop101:3306/ --username root --password 1234 ~~~ ## 导入数据 Read More
posted @ 2022-12-12 09:37 MrSponge Views(467) Comments(0) Diggs(0) Edit
Flink TableAPI&SQL 学习至此结束(这是我根据B站尚硅谷教学视频自学的总结吧--能力有限) Read More
posted @ 2022-12-12 09:32 MrSponge Views(442) Comments(1) Diggs(0) Edit
Flink TableAPI和SQL的基本运用介绍 在Flink中,TableAPI 和 SQL 可以看作是一体的,TableAPI可以将环境中的数据转换成对应的一张表,或者将表里的转换输出到外部系统,然后可以执行SQL语句来进行一个查询和统计。 1、 快速上手 添加相关依赖: <dependenc Read More
posted @ 2022-11-17 17:27 MrSponge Views(77) Comments(0) Diggs(0) Edit