hdfs
hdfs是hadoop负责存储的模块。
分布式存储。
比如你有200T的资料。但是你只有200台1T的服务器。那么就可以用hdfs来做分布式存储。
用来管理数据具体存在哪的组件叫namenode。所以namenode就需要高可用，不然你不知道某1T的资料具体存在哪里。这就需要2NN，用来辅助namenode。（具体存文件的元数据，比如文件名，文件属性，目录结构）（2NN每隔一段时间对namenode进行备份）
具体存储数据的组件叫datanode。（具体存文件块，和校验和）
hdfs适合一次写入，多次读取的场景。
优点：容错性高，因为是多副本的。适合处理大数据，不管是数据规模还是文件规模大，都能处理。机器要求不高。
缺点：不适合低延时数据访问。无法高效存储大量小文件（大量的小文件会占用namenode大量内存来存储目录结构和块信息。同时小文件的寻址时间会超过读取时间，这违背了大数据设计的目标）。不适合并发写入，文件随机修改。
namenode负责管理HDFS的名称空间，配置副本策略，管理数据块隐射信息，处理客户端读写请求。
datanode实际存储数据，执行数据块的读写。
second namenode：并非namenode的热备。当namenode挂掉时，并不能马上代替namenode工作。主要是辅助namenode，定期合并fsimage和edits并推送给namenode。紧急情况下，可以辅助恢复namenode。
biock块大小的设置，假设寻址时间为10ms，那么寻址时间为传输时间的1%就是最好的。也就是传输时间为1S.而HDD差不多就是100MB/S左右。所以默认时128M.如果你是用的SSD，那么可以调到256MB.
设置得太小，寻址时间会变大。设置得太大，传输时间会太大。
shell操作：
hadoop fs 具体命令
或者
hdfs dfs 具体命令
具体命令举例：
上传：
-mkdir /data 创建文件夹。
-moveFromLocal ./localfile /data 从本地剪切到HDFS
-copyFromLocal 同上，只不过是复制
-put 和copy是一样的
-appendToFile 追加
下载：
-copyToLocal /data/file ./ 拷贝到本地
-get同上
直接操作：
-ls
-cat
-chgrp -chmod -chown
-mkdir
-cp
-mv
-tail
-rm
-rm r
......
以上命令和linux下是一样的。不多说。
-setrep 10 /data/file 设置副本数量。（和你datanode数量有关，比如说你只有3个datanode，你把这个值设成了10.它会显示有10个副本，但是实际上只有3个副本，但是如果你添加了一个datanode，他会自动拷贝副本到新机器。）
HDFS resetful API：
3.1.3版本支持的/
基本的操作都有。之前有个项目，在调研HDFS的时候。由于只能用resetful api去操作。结果看完了，没有发现mv操作，就放弃了，转用glusterfs了。
HDFS的写流程：
1.HDFS Client创建distributed filesystem然后向namenode请求上传文件。
2.namenode检查权限和目录结构。
3.回复可以上传文件。
4.client请求上传第一个block，请namenode返回datanode
5.namenode返回datanode节点。
6.client write FSDataOutPutStream。传输方式是client先向datanode1传输block，然后node1向node2传输，node2向node3传输。以此类推。然后node3向node2应答成功，node2向node1应答成功，最后回复client成功。
client传输的最小单位是packet，64k。packet有包括很多个chunk。chunk是由512byte+4byte的checksum组成。
然后第一个packet到达node1，node1开始写盘，同时把这个packet传给node2。也就是说，每一个packet都需要一个ACK。
HDFS节点距离计算：
上面的读写流程，其实namenode在返回datanode的时候是需要选择的。首先考虑的是节点最近，然后再考虑负载均衡。
同一节点上的进程：distance=0
同一机架上的不同节点：distance=2
同一机房的不同机架节点：distance=4
不同机房：distance=6
至于机架感知，比较复杂，就不说了，在官方文档搜索hdfsdesign/data_replication就行了
HDFS读数据流程：
1.HDFS Client创建distributed filesystem然后向namenode请求下载文件。
2.namenode检查权限和目录结构。
3.返回文件的元数据。
4.client创建FSDatalnputStream，请求读数据blk_1.(具体请求哪一个datanode，会先考虑距离，然后再考虑负载)
5.datanode向client传输数据。
6.这个读取过程是串行读。以block为单位。
namenode和second namenode工作机制：
namenode存储的数据（内存中）=fsimage中的数据（磁盘上记录的初始值）与edits的合并（磁盘上记录的变化）
和AOF很像。
而fsimage和edits的合并就由2NN进行。
具体的工作原理：
在HDFS启动时：
1.加载编辑日志edits和镜像文件fsimage到内存。（每个block在内存中站150byte）
2.client对namenode进行元数据请求。
3.在edits中记录操作日志，更新滚动日志。
4.更新内存。
然后2NN异步合并流程：
1.2NN请求NN是否需要checkpoint。（2种条件。1是定时，2是edits满了）
2.2NN请求执行checkpoint。
3.生成一个新的edits。如果有新的操作，那么会追加到新的edits上。
4.将旧的edits和fsimage拷贝到2NN节点。
5.将edits和fismage加载到内存进行合并。并生成新的fsimage.chkpoint
6.将fsimage.chkpoint拷贝到NN。并重命名为fsimage。
fsimage，edits文件和其他相关文件：
fsimage是HDFS文件系统元数据的一个永久性检查点，其中包含HDFS的所有目录和inode序列化信息。
edits：存放HDFS所有更新操作的路径，客户端所有的写操作会先写到edits里。
seen_txid：保存edits最新版本号
用hdfs oiv可以查看fsimage文件。hdfs oev可以查看edits文件。
checkpoint：
默认触发时间是3600秒。
或者edits的操作打到100w次（2NN默认每隔1分钟检查一次）
两个参数都能改。
datanode：
每个block维护数据，时间戳，校验和，数据长度。
datanode启动后，会主动向namenode注册。
每隔6小时还会继续向namenode上报块信息。
心跳每3秒进行一次。超过10分钟+30秒没有收到心跳，namenode认为该节点不可用。
数据完整性：
用的是crc校验。在client和HDFS做两次校验。
