摘要：
为什么要制作本地yum源？ 在生产机器上，客户提供机器预先装好的linux操作系统，但是内网环境和外网环境是物理隔离的。 如果在搭建的生产环境上，需要安装相关软件时，从外网下载，再拷贝到生产机器上是非常不方便的；而且安装软件存在相互依赖，不一定能安装成功。 yum安装会自动加载相关的依赖包，既然不能 阅读全文
摘要：
优点： 适合大数据处理，存储海量数据 高容错，高可靠 可以建立在廉价的机器上 适合批处理（移动计算而非移动数据） 缺点： 少量数据的低延迟数据访问 不适合数量大的小文件 不支持修改，只支持追加 不支持多用户并行写入 阅读全文
摘要：
参考：https://forum.huawei.com/enterprise/zh/thread-435089.html 安全模式是HDFS的一种工作状态，处于安全模式下，只能给客户端提供只读视图，不接受增删改。 namenode启动时，会将映像文件（fsimage）和编辑日志（edit log）加 阅读全文
摘要：
问题：NameNode是单节点的，容易发生单点故障。 在hadoop2.x之后，可以部署两个NameNode，一个Active（活跃的），另外一个是StandBy（备份的），如果要实现这种高可用，需要解决两个问题： 1.数据的同步 数据的同步包括两部分：静态数据和动态数据，静态数据是指元数据信息（块 阅读全文
摘要：
问题：元数据管理是在内存中进行的，一旦故障，无法恢复。 解决方法：采用fsimage镜像文件和edit log编辑日志的方式来持久化数据。 fsimage是二进制的序列化文件，相当于内存的快照，可以跨平台，恢复速度快。但是不能每时每刻记录fsimage（如果记录频繁，数量多或者文件大，内存读取速度就 阅读全文
摘要：
1.HDFS写流程 1)客户端发起写文件 /usr/ss.avi请求 客户端的DFS(distributed file system)向namenode发起写文件的请求，namenode需要检查目标文件是否存在，是否有权限，上层文件是否存在等。 2)namenode返回可以上传文件 3)客户端请求上 阅读全文
摘要：
设计思想是：分而治之 HDFS是分布式的存储系统，可将文件切分为很多块，散列在分布式系统之上。默认副本有3个，默认每个块的大小是128M(hadoop2.x之后)，64M(hadoop1.x) 1)Client 块切分 与NameNode交互，获得文件位置 与DateNode交互，读/写数据 提供客 阅读全文