2018年3月2日
datanode与namenode的通信
摘要： 在分析DataNode时, 因为DataNode上保存的是数据块, 因此DataNode主要是对数据块进行操作. A. DataNode的主要工作流程1. 客户端和DataNode的通信: 客户端向DataNode的`数据块读写`, 采用TCP/IP流接口(DataXceiver)进行数据传输 2. 阅读全文
posted @ 2018-03-02 11:35 硅谷工具人 阅读(1291) 评论(0) 推荐(0) 编辑
Yarn NodeManager restart
摘要： 一、介绍默认Yarn NodeManager重启后会断开所有当前正在运行的container的状态，这意味着重启后需要重新启动container进程，该特性的作用就是把NM的状态临时保存到本地，重启后从之前的状态恢复运行。 二、配置 配置以下三个参数到conf/yarn-site.xml中1、yar 阅读全文
posted @ 2018-03-02 11:02 硅谷工具人 阅读(2885) 评论(0) 推荐(0) 编辑
hadoop上线和下线节点
摘要： 在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线节点1) namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,server9,则如下：server7server8 resourcemanag 阅读全文
posted @ 2018-03-02 09:18 硅谷工具人 阅读(3190) 评论(1) 推荐(0) 编辑
成功之道，在于每个人生阶段都要有不同的目标，并且通过努力实现自己的目标，毕竟人生不过百年! 所有奋斗的意义在于为个人目标实现和提升家庭幸福，同时能推进社会进步和国家目标! 正如古人讲的正心诚意格物致知，修身齐家治国平天下。