摘要：
1.HDFS存储架构 (1)HDFS 架构 —— 文件 1)文件切分成块（默认大小64M），以块为单位，每个块有多个副本存储在不同的机器上，副本数可在文件生成时指定（默认3）2)NameNode 是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间,副本数,文件权限），以及每个文件的 阅读全文
摘要：
场景 合并小文件，存放到HDFS上。例如，当需要分析来自许多服务器的Apache日志时，各个日志文件可能比较小，然而Hadoop更合适处理大文件，效率会更高，此时就需要合并分散的文件。如果先将所有文件合并，在复制上传到HDFS上的话，需要占用本地计算机的大量磁盘空间。采取在向HDFS复制上传文件的过 阅读全文
摘要：
本事例其实和使用hdfs FileSystem API差不多，FileSystem API也是通过解释成URL在hdfs上面执行的，性质相同，但是实际中用 的fFileSystem会多一点，源码如下： package org.dragon.hadoop.hdfs; import java.io.IO 阅读全文
摘要：
需求 1．文件操作 1）上传本地文件到HDFS 2）读取文件 3）在hadoopfs中新建文件，并写入 4）重命名文件 5）删除hadoopfs上的文件 2．目录操作 1）读取某个目录下的所有文件 2）在hadoopfs上创建目录 3）删除目录 3. HDFS信息 1）查找某个文件在HDFS集群的位 阅读全文