摘要：
独立部署（Standalone）模式由 Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。 在国内工 阅读全文
摘要：
1.下载Spark 3.5.0 https://spark.apache.org/downloads.html 2.安装JDK Linux 安装Openjdk 3.安装Hadoop Hadoop-3.3.6分布式集群搭建步骤 4.安装Zookeeper ZooKeeper 3.9.1 集群模式安装 阅读全文
摘要：
1.连接节点 bin/zkCli.sh -server 192.168.58.131:2181 2.命令行语法 命令基本语法 功能描述 help 显示所有操作命令 ls path 使用ls命令来查看当前znode的子节点[可监听]-w 监听子节点变化-s 附加次级信息 create 普通创建-s 含 阅读全文
摘要：
1.安装 rsync远程同步工具 apt install -y rsync 2.配置host映射【略】 vi /etc/hosts 3.配置SSH免密登录 使用SSH远程登陆Linux 4.编写xsync集群分发脚本 vi /usr/bin/xsync #! /bin/bash #1 获取输入参数个 阅读全文
摘要：
1.创建脚本 vi /usr/bin/zk #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start"){ for i in 192.168.58.130 192.168.58.131 1 阅读全文