2021年4月13日

Hadoop 之 高可用不自动切换(ssh密钥无效 Caused by: com.jcraft.jsch.JSchException: invalid privatekey )

摘要： 案例 在安装hadoop ha之后，验证HDFS高可用时，怎么都不能实现自动切换。查看zkfc日志发现错误信息如下： WARN org.apache.hadoop.ha.SshFenceByTcpPort: Unable to create SSH sessioncom.jcraft.jsch.JS 阅读全文

posted @ 2021-04-13 19:06 Simple-Sir 阅读(1482) 评论(0) 推荐(0) 编辑

Hadoop常用命令及基本概念

摘要： HADOOP 是什么？ 分布式计算开源框架,其核心组件为：HDFS、MAPREDUCE、YARN Hadoop各个功能模块的理解 1、 HDFS模块 HDFS负责大数据的存储，通过将大文件分块后进行分布式存储方式，突破了服务器硬盘大小的限制，解决了单台机器无法存储大文件的问题，HDFS是个相对独立的 阅读全文

posted @ 2021-04-13 09:43 Simple-Sir 阅读(416) 评论(0) 推荐(0) 编辑

Hadoop HA(高可用) 详细安装步骤

摘要： 什么是HA？ HA是High Availability的简写,即高可用，指当当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上去，以来保证服务的高可用。（简言之，有两台机器，一台工作，一台备用，当工作机挂了之后，备用机自动接替。） HAdoop的HA模式是最常见的生产环境 阅读全文

posted @ 2021-04-13 01:40 Simple-Sir 阅读(4108) 评论(0) 推荐(0) 编辑

导航