2017年6月25日
7.hdfs工作流程及机制
摘要： 1. hdfs基本工作流程 1. hdfs初始化目录结构 hdfs namenode format 只是初始化了namenode的工作目录 而datanode的工作目录是在datanode启动后自己初始化的 namenode在format初始化的时候会形成两个标识： blockPoolId： clu 阅读全文
posted @ 2017-06-25 22:10 刘耀 阅读(4173) 评论(0) 推荐(0) 编辑
6.hdfs的存储过程
摘要： ## 1.hdfs 怎么存储切割存储## 2. 为何每块是128m与io读写速度有关，一般人的接受速度1s中，而磁盘的读写速度为100m／s，在读取文件时候需要硬盘寻找地址，一般读懂速度和寻找之间的比例是1/100，比如我们设置寻址时间为10ms，那么整体读的时间为10ms * 100 = 1000ms = 1s， 100m／s * 1／s～=128M## 3. 验证存储![](http://im... 阅读全文
posted @ 2017-06-25 00:16 刘耀 阅读(642) 评论(0) 推荐(0) 编辑
5.hadoop常用命令
摘要： ## 1. 单独启动和关闭hadoop服务1. 启动名称节点 ``` #hadoop-daemon.sh start namenode ```2. 启动数据节点 ``` #hadoop-daemons.sh start datanode slave ``` 3. 启动secondarynamenode ``` #hadoop-daemon.sh... 阅读全文
posted @ 2017-06-25 00:15 刘耀 阅读(1810) 评论(0) 推荐(0) 编辑