Hadoop_HDFS DataNode掉线操作 与 HDFS学习小结

模拟DataNode掉线：

先查找进程编号：

找到后执行kill命令：kill -9 1328
这样DataNode进程就节点就被停止了
观察到原来的上次节点更新时间也开始变长了

但只要重新启动DataNode就可以恢复：hdfs --daemon start datanode

掉线时限参数可根据自身机器性能调整：

注意：配置文件 hdfs-site.xml 中

heartbeat.recheck.interval的时间单位为 毫秒

dfs.heartbeat.interval 的时间单位为 秒

若自定义超时时间为 \(\tt{TimeOut}\) ，超时时长计算公式：

\(\tt{TimeOut=2\times (dfs.namenode.heartbeat.recheck.interval)+10\times (dfs.heartbeat.interval)}\)

默认 dfs.namenode.heartbeat.recheck.interval 大小为\(5\)分钟

默认 dfs.heartbeat.interval 大小为\(3\)秒

HDFS蒟蒻小结

1. HDFS 块大小与硬盘读写速度有关：速度越快块就可以越大 在企业中一般是128m（中小公司） 或 256m（大公司）
2. HDFS的Shell操作（开发重点）
3. HDFS的读写流程（面试重点）