随笔分类 - HDFS
摘要：0.HDFS-HA的工作机制 问题：因为hdfs的中心就是namenode，而我们的集群只有一台服务器安装了nn，如果这台服务器挂掉，整个集群瘫痪，这个就是典型的单点故障，搭建HA其实就是为了解决单点故障问题 解决办法：安装多台nn 此方案有如下问题需要解决？ a）多个nn内部元数据的数据一致性的问
阅读全文
摘要：一. NameNode和SecondaryNameNode 1.NN和2NN 工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在
阅读全文
摘要：概述 定义 HDFS是一个分布式文件管理系统 优缺点 优点 （1）高容错 多副本提高容错、某个副本丢失可以自动恢复 （2）适合处理大数据 能处理PB级别数据、能处理百万的文件数据量 （3）可构建在廉价机器上 缺点 （1）不适合低时延数据访问 （2）无法高效存储小文件 （3）不支持并发写入和文件修
阅读全文
摘要：一、配置hadoop3.1.3 windows环境依赖 将 \资料\01_jar包\03_Windows依赖\hadoop-3.0.0放到任意一个目录 配置环境变量 %HADOOP_HOME%：D:\SoftWare\hadoop-3.1.0 添加到path路径 %HADOOP_HOME%\bin
阅读全文
摘要：HDFS【shell操作hdfs命令】 上传 -help：输出这个命令参数 hadoop fs -help rm -moveFromLocal：从本地剪切粘贴到HDFS hadoop fs -moveFromLocal ./kongming.txt /sanguo/shuguo -copyFromL
阅读全文
摘要：通过java的api对hdfs的资源进行操作 代码：上传、下载、删除、移动/修改、文件详情、判断目录or文件、IO流操作上传/下载 package com.atguigu.hdfsdemo; import org.apache.hadoop.conf.Configuration; import or
阅读全文
