2018年1月24日
摘要：
读数据过程： 1.客户端调用FileSystem 实例的open 方法，获得这个文件对应的输入流InputStream 2.访问NameNode，获取文件对应数据块的保存位置，包括副本位置。 3.获得输入流之后，客户端便调用read()方法读取数据。选择最近的datanode进行连接并读取数据。 4 阅读全文
摘要：
hdfs组成： 主控节点(NameNode)、从节点(DataNode)、客户端 1.NameNode NameNode是一个主控节点，用来管理整个文件系统的命名空间和元数据，以及处理来自外界的文件访问请求。NameNode 保存了文件系统的三种元数据: 1) 命名空间， 即整个分布式文件系统的目录 阅读全文
摘要：
数据块是一组或几组按顺序连续排列在一起的记录，是主存储器与输入设备、输出设备或外存储器之间进行传输的数据单位。 在传统的块存储介质中，块是读写的最小数据单位 (扇区) 传统文件系统基于存储块进行操作 为了节省文件分配表空间，会对物理存进行储块整般合，一般大小为4096字节 HDFS也使用了块的概念， 阅读全文
摘要：
描述数据的数据就称为元数据。 一、元数据包括： 1.文件系统目录树信息 2.文件名，目录名 3.文件和目录的从属关系 4.文件和目录的大小，创建及最后访问时间 5.权限 二、文件和块的对应关系 文件由哪些块组成 三、块的存放位置 机器名，块ID 四、HDFS对元数据和实际数据采取分别存储的方法 元数 阅读全文
摘要：
在ssh无需密码登录以及jdk、hadoop路径配置好后，我们以master、slave1为例： 配置hadoop集群 一共有7个文件要修改： hadoop-2.6.0/etc/hadoop/hadoop-env.sh hadoop-2.6.0/etc/hadoop/yarn-env.sh hado 阅读全文
摘要：
1.ls命令(文件内容) 列出系统跟目录下的目录和文件 Hadoop fs -ls / 列出文件系统所有的目录和文件 Hadoop fs -ls -R / 2.cat命令(列出文档内容) Hadoop fs -cat <hadoop file> / 3.put命令：从本地获取文件 hadoop fs 阅读全文