随笔分类 - 大数据/Hadoop

Hadoop集群搭建-HA高可用（手动切换模式）（四）

摘要：步骤和集群规划 1）保存完全分布式模式配置 2）在full配置的基础上修改为高可用HA 3）第一次启动HA 4）常规启动HA 5）运行wordcount 集群规划： centos虚拟机：node-001、node-002、node-003、node-004 node-001：Active NN、Jo 阅读全文

posted @ 2019-03-26 23:33 江东邮差阅读(1087) 评论(0) 推荐(0) 编辑

Hadoop集群搭建-full完全分布式（三）

摘要：环境：Hadoop-2.8.5 、centos7、jdk1.8 一、步骤 1).4台centos虚拟机 2). 将hadoop配置修改为完全分布式 3). 启动完全分布式集群 4). 在完全分布式集群上测试wordcount程序二、4台centos虚拟机配置 4台虚拟机：node-001、node 阅读全文

posted @ 2019-03-20 20:55 江东邮差阅读(400) 评论(0) 推荐(0) 编辑

Hadoop集群搭建过程中ssh免密码登录（二）

摘要：一、为什么设置ssh免密码登录在集群中，Hadoop控制脚本依赖SSH来执行针对整个集群的操作。例如，某个脚本能够终止并重启集群中的所有守护进程。所以，需要安装SSH，但是，SSH远程登陆的时候，需要密码验证，集群中数千台计算机，数千台计算机都需要手工输入密码，这是不太现实的，所以，就需要配置SS 阅读全文

posted @ 2019-02-27 16:22 江东邮差阅读(3566) 评论(0) 推荐(0) 编辑

Hadoop-2.9.2单机版安装（伪分布式模式）（一）

摘要：一、环境硬件：虚拟机VMware、win7 操作系统：Centos-7 64位主机名： hadoopServerOne 安装用户：root软件：jdk1.8.0_181、Hadoop-2.9.2 二、安装jdk 1.到普通用户目录/home/lims2.下载jdk-8u181-linux-x64 阅读全文

posted @ 2018-11-28 00:22 江东邮差阅读(3742) 评论(0) 推荐(0) 编辑