大二暑假周总结(五)
了解hdfs分布式文件系统
分布式文件系统HDFS:
1.为了解决海量数据的分布式存储的问题
2.满足大规模数据的批量处理需求,不会去访问一块一块儿的数据
3.实时性不高
4.不支持多用户写入及任意修改文件,只允许追加数据,不允许修改
HDFS相关概念
1.块:HDFS的一个快要比普通的一个快大很多(支持面向大规模数据存储,降低分布式节点的寻址开销)-------->支持大规模文件存储,简化系统设计,适合数据备份
2.名称节点(主节点,记录数据库存储位置信息,数据目录),数据节点(存储实际数据,每个数据节点上的数据是被保存到数据节点本地的Linux文件系统中去)----->两大组件