01 2024 档案

Redis集群方案和数据分区原理介绍

摘要：Redis集群方案主从模式一主多从，主节点负责写数据，从节点负责读数据，主节点定期把数据同步到从节点保证数据的一致性。避免单点故障，实现了读写分离。优点：主从结构具有读写分离、提高效率、数据备份、提供多个副本等优点。缺点：不具备恢复功能，如果主节点宕机，则不能提供服务，需要手动将从节点设阅读全文

posted @ 2024-01-31 17:37 还是做不到吗阅读(203) 评论(0) 推荐(0) 编辑

Spark-Yarn模式部署

摘要：Spark-Yarn模式部署 1. 解压缩文件将spark-3.0.0-bin-hadoop3.2.tgz文件上传到linux并解压缩，放置在指定位置。 # 在/opt/software中 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module 阅读全文

posted @ 2024-01-17 17:01 还是做不到吗阅读(31) 评论(0) 推荐(0) 编辑

Hadoop集群搭建

摘要：Hadoop集群搭建 1、服务器配置服务器名称配置 master 2C 2G slave1 2C 2G slave2 1C 2G 1.1 修改主机名 #Centos永久修改主机名命令 hostnamectl set-hostname master 1.2 主机映射 vim /etc/hosts 阅读全文

posted @ 2024-01-16 16:27 还是做不到吗阅读(34) 评论(0) 推荐(0) 编辑

Hadoop组件架构

摘要：一、HDFS 1.HDFS架构 HDFS是一个主/从（Master/Slave）体系结构，由三部分组成：NameNode和DataNode以及SecondaryNamenode： NameNode负责管理整个文件系统的元数据，比如文件名、文件目录结构、文件属性（生成时间、block副本数、权限）、b 阅读全文

posted @ 2024-01-16 16:24 还是做不到吗阅读(27) 评论(0) 推荐(0) 编辑