文章分类 - hadoop
摘要：HDFS文件操作 HDFS是一种文件系统，存储着Hadoop应用将要处理的数据，类似于普通的Unix和linux文件系统，不同的是他是实现了google的GFS文件系统的思想，是适用于大规模分布式数据处理相关应用的、可扩展的分布式文件系统。它有以下优点：1、在分布式存储中，经常会出现节点失效的情况，HDFS可以持续监视，错误检查，容错处理，自动恢复；2、分布式存储的文件都是非常巨大的，HDFS重新规定了每次I/O的块的大小；3、对于搜索引擎的业务，大部分都只会在文件尾添加新数据，很少修改已有数据。HDFS做了优化；4、与应用一起设计的文件系统API对整个系统的弹性和适用性有很大好处；5、有效.
阅读全文
