11 2018 档案
摘要:HDFS2.0概述 一背景,Hadoop1.0中HDFS和MapReduce在高可用,扩展性等方面存在问题 HDFS存在问题,1,NameNode单点故障,难以应用于在线场景。2,NameNode压力过大,且内存受限,影响系统扩展。 MapReduce存在的问题,1,JobTracker访问压力大,
阅读全文
摘要:1 Mac电脑配置 阿里云配置机器 选择配置 按量付费 选择三台机器 2核8G 镜像选择CentOS7.4 网络设置 默认 系统配置 勾选好 添加有序后缀 设置好释放时间 最后再次确认信息 第二部 使用Zoc7 建立连接 并保持到zoc7软件 菜单栏 第三部 filezilla上传软件 jdk zo
阅读全文
摘要:1 查询阿里云局网ip 注意:需要配置同一地区同一可用区的机器 才是一个局网 2 配置好hosts文件 3 hostname确认也是正确的 4 生成公钥私钥 三台机器同样操作 ssh-keygen -t rsa 然后一路回车 5 远程拷贝公钥 每台机器都敲 ssh-copy-id root@hado
阅读全文
摘要:HDFS概述 简介:根据Google的GFS的开源实现,Hadoop分布式文件系统,是一个分布式文件存储系统。 优点 1,高容错性:数据自动保存为多个副本,副本丢失后自动恢复,(block元数据信息+心跳),多副本,提供容错机制,副本丢失或宕机自动恢复,默认存3份。 2,适合批处理:移动数据而非移动
阅读全文
摘要:加上 @Deprecated 后方法名称显示: 中划线(删除线)意为:发生这些变化并不会影响编译,只是提醒一下程序员,这个方法以后是要被删除的,最好别用。就是如果一个类从另外一个类继承,并且override被继承类的Deprecated方法,在编译时将会出现一个警告。
阅读全文