摘要：
HDFS2.0概述 一背景，Hadoop1.0中HDFS和MapReduce在高可用，扩展性等方面存在问题 HDFS存在问题，1，NameNode单点故障，难以应用于在线场景。2，NameNode压力过大，且内存受限，影响系统扩展。 MapReduce存在的问题，1，JobTracker访问压力大， 阅读全文
摘要：
1 Mac电脑配置 阿里云配置机器 选择配置 按量付费 选择三台机器 2核8G 镜像选择CentOS7.4 网络设置 默认 系统配置 勾选好 添加有序后缀 设置好释放时间 最后再次确认信息 第二部 使用Zoc7 建立连接 并保持到zoc7软件 菜单栏 第三部 filezilla上传软件 jdk zo 阅读全文
摘要：
1 查询阿里云局网ip 注意：需要配置同一地区同一可用区的机器 才是一个局网 2 配置好hosts文件 3 hostname确认也是正确的 4 生成公钥私钥 三台机器同样操作 ssh-keygen -t rsa 然后一路回车 5 远程拷贝公钥 每台机器都敲 ssh-copy-id root@hado 阅读全文
摘要：
HDFS概述 简介:根据Google的GFS的开源实现，Hadoop分布式文件系统，是一个分布式文件存储系统。 优点 1，高容错性：数据自动保存为多个副本，副本丢失后自动恢复，（block元数据信息+心跳），多副本，提供容错机制，副本丢失或宕机自动恢复，默认存3份。 2，适合批处理：移动数据而非移动 阅读全文