随笔分类 - BigData

窗口函数

摘要：窗口函数语法： <窗口函数> over(partition by 分组字段 order by 排序字段 rows between 开始 and 结束) partition by 字段对指定字段进行分组，后续以组为单位，把每个分组单独作为一个窗口进行统计分析操作。 order by 字段 orde 阅读全文

posted @ 2024-02-17 10:02 还是做不到吗阅读(51) 评论(0) 推荐(0) 编辑

Redis使用Lua脚本

摘要：Redis使用Lua脚本 Redis使用lua脚本的优点减少网络开销：将原来多次请求的逻辑封装为脚本在服务器上执行，只需1次请求就能完成，减少了网络往返时延；原子操作：Redis会将整个脚本作为一个整体执行，中间不会被其他命令插入；复用性：客户端发送的脚本会永久保存在Redis中，其他客户端可阅读全文

posted @ 2024-02-17 10:01 还是做不到吗阅读(53) 评论(0) 推荐(0) 编辑

Flink中的时间和窗口

摘要：Flink中的时间和窗口 Flink中的时间语义处理时间（Processing Time）处理时间就是指处理操作的机器的系统时间事件时间（Event Time）事件时间是指每个事件在对应的设备上发生的事件，也就是数据生成的时间。水位线水位线是基于事件时间提出的概念，了解水位线之前需先了解阅读全文

posted @ 2024-02-06 17:15 还是做不到吗阅读(73) 评论(0) 推荐(0) 编辑

Redis集群方案和数据分区原理介绍

摘要：Redis集群方案主从模式一主多从，主节点负责写数据，从节点负责读数据，主节点定期把数据同步到从节点保证数据的一致性。避免单点故障，实现了读写分离。优点：主从结构具有读写分离、提高效率、数据备份、提供多个副本等优点。缺点：不具备恢复功能，如果主节点宕机，则不能提供服务，需要手动将从节点设阅读全文

posted @ 2024-01-31 17:37 还是做不到吗阅读(203) 评论(0) 推荐(0) 编辑

Spark-Yarn模式部署

摘要：Spark-Yarn模式部署 1. 解压缩文件将spark-3.0.0-bin-hadoop3.2.tgz文件上传到linux并解压缩，放置在指定位置。 # 在/opt/software中 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module 阅读全文

posted @ 2024-01-17 17:01 还是做不到吗阅读(31) 评论(0) 推荐(0) 编辑

Hadoop集群搭建

摘要：Hadoop集群搭建 1、服务器配置服务器名称配置 master 2C 2G slave1 2C 2G slave2 1C 2G 1.1 修改主机名 #Centos永久修改主机名命令 hostnamectl set-hostname master 1.2 主机映射 vim /etc/hosts 阅读全文

posted @ 2024-01-16 16:27 还是做不到吗阅读(34) 评论(0) 推荐(0) 编辑

Hadoop组件架构

摘要：一、HDFS 1.HDFS架构 HDFS是一个主/从（Master/Slave）体系结构，由三部分组成：NameNode和DataNode以及SecondaryNamenode： NameNode负责管理整个文件系统的元数据，比如文件名、文件目录结构、文件属性（生成时间、block副本数、权限）、b 阅读全文

posted @ 2024-01-16 16:24 还是做不到吗阅读(27) 评论(0) 推荐(0) 编辑