摘要: 基础知识 HDFS 被设计成用来使用低廉的服务器来进行海量数据的存储,那是怎么做到的呢? 大文件被切割成小文件,使用分而治之的思想让很多服务器对同一个文件进行联合管理 每个小文件做冗余备份,并且分散存到不同的服务器,做到高可靠不丢失 类似于之前博客中写到的磁盘阵列 适合场景: 大文件多读取,且不支持 阅读全文
posted @ 2022-01-04 21:50 maskpd 阅读(35) 评论(0) 推荐(0) 编辑
摘要: 磁盘阵列 磁盘阵列出现的原因 解决单点故障,一个崩了不影响使用这也就是涉及到分布式理论的CAP原则,磁盘也就是数据持久化的地方。在单机时代,采用单块磁盘进行数据存储和读写的方式,由于寻址和读写的时间消耗,导致I/O性能非常低,且存储容量还会受到限制。另外,单块磁盘极其容易出现物理故障,经常导致数据的 阅读全文
posted @ 2022-01-04 11:26 maskpd 阅读(458) 评论(0) 推荐(0) 编辑