摘要: consul相关命令: 查看集群成员: consul members 集群状态查看: consul operator raft list-peers 192.168.1.235 192.168.1.235:8300 192.168.1.235:8300 leader true 2 192.168.1 阅读全文
posted @ 2022-11-09 17:33 Sky-wings 阅读(38) 评论(0) 推荐(0) 编辑
摘要: consul api 常用API agent /v1/agent/checks : 返回本地agent注册的所有检查(包括配置文件和HTTP接口) /v1/agent/services : 返回本地agent注册的所有 服务 /v1/agent/members : 返回agent在集群的gossip 阅读全文
posted @ 2022-11-09 17:32 Sky-wings 阅读(45) 评论(0) 推荐(0) 编辑
摘要: consul安装: https://blog.csdn.net/wchenjt/article/details/106055797?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~aggregatepage~first_ 阅读全文
posted @ 2022-11-09 17:31 Sky-wings 阅读(51) 评论(0) 推荐(0) 编辑
摘要: consul介绍 用于实现分布式系统的服务发现与配置。与其它分布式服务注册与发现的方案,Consul 的方案更“一站式”,内置了服务注册与发现框 架、分布一致性协议实现、健康检查、Key/Value 存储、多数据中心方案,不再需要依赖其它工具(比如 ZooKeeper 等)。使用起来也较 为简单。C 阅读全文
posted @ 2022-11-09 17:30 Sky-wings 阅读(73) 评论(0) 推荐(0) 编辑
摘要: zk客户端相关命令 进入客户端: ./bin/zkCli.sh 1 ls:显示根目录下、文件: ls /使用ls命令来查看当前ZooKeeper中所包含的内容 [zk: localhost:2181(CONNECTED) 1] ls / [zookeeper, hadoop-ha] 2 ls2:类似 阅读全文
posted @ 2022-11-09 17:26 Sky-wings 阅读(132) 评论(0) 推荐(0) 编辑
摘要: 1-8 zk相关配置详解 1 zk配置文件zoo.cfg说明: tickTime: ZooKeeper中使用的基本时间单元, 以毫秒为单位, 默认值是2000。它用来调节心跳和超时。例如, 默认的会话超时时间是两倍的tickTime。 initLimit: 默认值是10, 即tickTime属性值的 阅读全文
posted @ 2022-11-09 17:25 Sky-wings 阅读(547) 评论(0) 推荐(0) 编辑
摘要: zookeeper包下载: https://mirror.bit.edu.cn/apache/zookeeper/ 1 下载解压,修改配置 zookeeper下载:http://archive.apache.org/dist/zookeeper/ https://www.aboutyun.com/t 阅读全文
posted @ 2022-11-09 17:23 Sky-wings 阅读(20) 评论(0) 推荐(0) 编辑
摘要: https://mirror.bit.edu.cn/apache/zookeeper/ https://www.cnblogs.com/sakura-yxf/p/12020348.html 1 Zookeeper集群的角色:Leader和follower(Observer) 只要集群中有半数以上节点 阅读全文
posted @ 2022-11-09 17:22 Sky-wings 阅读(24) 评论(0) 推荐(0) 编辑
摘要: hdfs3.0 常用命令 hdfs命令大全: # hdfs dfs 1 创建目录(-mkdir): hadoop fs -mkdir -p /putfile/test 2 显示目录信息(-ls): hadoop fs -ls /putfile hadoop fs -ls -h /putfile ha 阅读全文
posted @ 2022-11-09 17:17 Sky-wings 阅读(157) 评论(0) 推荐(0) 编辑
摘要: hadoop1.0配置文件详解 1 修改hadoop-env.sh 配置 Hadoop 运行所需的环境变量 # The java implementation to use. export JAVA_HOME=${JAVA_HOME} 2 配置core-site.xml Hadoop 核心全局配置文 阅读全文
posted @ 2022-11-09 17:16 Sky-wings 阅读(40) 评论(0) 推荐(0) 编辑
摘要: hadoop配置文件详解 主要配置文件: hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml yar-site.xml workers 参考: https://hadoop.apache.org/docs/r3.0.1/ https:/ 阅读全文
posted @ 2022-11-09 17:14 Sky-wings 阅读(566) 评论(0) 推荐(0) 编辑
摘要: hadoop安装 1 安装java环境 tar -xf jdk-8u131-linux-x64.tar.gz -C /usr/local/ vi /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_131 export CLASS_PATH=$JAVA 阅读全文
posted @ 2022-11-09 17:10 Sky-wings 阅读(15) 评论(0) 推荐(0) 编辑
摘要: hadoop 3.0安装 节点角色分配: vm1 namenode1 zookeeper1 ZKFC1 jornalnode1 resourcemanager vm2 namenode2 datanode1 zookeeper2 ZKFC2 jornalnode2 resourcemanager v 阅读全文
posted @ 2022-11-09 17:06 Sky-wings 阅读(183) 评论(0) 推荐(0) 编辑
摘要: HDFS高可用 对于保证NameNode元数据的一致性和编辑日志的安全性,采用Zookeeper来存储编辑日志文件。 两个NameNode一个是Active状态的,一个是Standby状态的,一个时间点只能有一个Active状态的。 NameNode提供服务,两个NameNode上存储的元数据是实时 阅读全文
posted @ 2022-11-09 17:00 Sky-wings 阅读(37) 评论(0) 推荐(0) 编辑
摘要: HDFS hadoop官网:https://hadoop.apache.org/ hadoop历史版本:https://archive.apache.org/dist/hadoop/common/ hadoop的核心 Hadoop的核心就是HDFS和MapReduce,而两者只是理论基础,不是具体可 阅读全文
posted @ 2022-11-09 16:44 Sky-wings 阅读(100) 评论(0) 推荐(0) 编辑