06 2017 档案

摘要:关于容量调度器(CS)和预订系统的cs实现。基本需要通过API而不是CLI来操作,有点麻烦。 阅读全文
posted @ 2017-06-28 16:45 正在战斗中 阅读(1186) 评论(0) 推荐(0) 编辑
摘要:本文翻译自http://hadoop.apache.org/docs/r2.8.0/hadoop-yarn/hadoop-yarn-site/YARN.html 译注:原文说得有些过于简单的,并且有些混乱。 yarn由两个部分的守护程序构成:资源管理、调度/监控。 这样就要求有个全局资源管理器(re 阅读全文
posted @ 2017-06-28 09:55 正在战斗中 阅读(507) 评论(0) 推荐(0) 编辑
摘要:本文介绍hdfs的存储策略 内容译自:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/ArchivalStorage.html#Get_Storage_Policy 译注:存储策略是在和经济妥协的一个技术产物。 阅读全文
posted @ 2017-06-26 10:37 正在战斗中 阅读(9015) 评论(0) 推荐(0) 编辑
摘要:本文翻译翻译自http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/ClusterSetup.html 具体的实践,请参阅:搭建两个节点的简单hdfs集群。 译注:仅仅是翻译,内容关于搭建一个纯净,简单的hado 阅读全文
posted @ 2017-06-22 16:29 正在战斗中 阅读(401) 评论(0) 推荐(0) 编辑
摘要:本人翻译自: http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/ServiceLevelAuth.html 译注:相对于kerberos等等而言,这个显得简单得多,但作用也不小。在无法知道用户密码或者无法接近 阅读全文
posted @ 2017-06-21 16:50 正在战斗中 阅读(1150) 评论(0) 推荐(0) 编辑
摘要:本文主要翻译自 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/SecureMode.html 译注:之所以不翻译为安全模式,是因为namenode启动的时候有个safemode,如果都翻译为安全模式,会有 阅读全文
posted @ 2017-06-21 11:26 正在战斗中 阅读(1677) 评论(0) 推荐(0) 编辑
摘要:此文翻译自 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html 译注:实际部署中,没有安全控制的hadoop的,最好不要使用,因为可能很多心血会毁于一旦。 概览 阅读全文
posted @ 2017-06-17 23:12 正在战斗中 阅读(1067) 评论(0) 推荐(0) 编辑
摘要:hadoop的ha部署-利用zookeeper和jns来实现 阅读全文
posted @ 2017-06-16 17:24 正在战斗中 阅读(786) 评论(0) 推荐(0) 编辑
摘要:本文翻译自:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html 基于2.8.0文档 1.目的 本文可以作为以下人员的入门指引:使用hdfs的用户,或者仅仅使用分布式文件系统的用 阅读全文
posted @ 2017-06-14 16:48 正在战斗中 阅读(471) 评论(0) 推荐(0) 编辑
摘要:本文主要参考 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/RackAwareness.html hadoop组件是机栈敏感(译注rack,机栈,可以简单理解为节点的摆放)。 例如,HDFS块的分布会利用 阅读全文
posted @ 2017-06-13 15:47 正在战斗中 阅读(500) 评论(0) 推荐(0) 编辑
摘要:本文主要参考 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 主要内容是对该文章的翻译,部分内容参考其他的网络文章。 1.简介 hadoop分布式文件系统(HDFS)是一个分布式 阅读全文
posted @ 2017-06-13 11:49 正在战斗中 阅读(715) 评论(0) 推荐(0) 编辑
摘要:hadoop命令 hdfs命令 yarn命令 简介 阅读全文
posted @ 2017-06-09 16:41 正在战斗中 阅读(19115) 评论(0) 推荐(1) 编辑
摘要:虚拟机上安装 hadoop+hive+presto 阅读全文
posted @ 2017-06-05 15:38 正在战斗中 阅读(4102) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示