06 2017 档案
摘要:关于容量调度器(CS)和预订系统的cs实现。基本需要通过API而不是CLI来操作,有点麻烦。
阅读全文
摘要:本文翻译自http://hadoop.apache.org/docs/r2.8.0/hadoop-yarn/hadoop-yarn-site/YARN.html 译注:原文说得有些过于简单的,并且有些混乱。 yarn由两个部分的守护程序构成:资源管理、调度/监控。 这样就要求有个全局资源管理器(re
阅读全文
摘要:本文介绍hdfs的存储策略 内容译自:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/ArchivalStorage.html#Get_Storage_Policy 译注:存储策略是在和经济妥协的一个技术产物。
阅读全文
摘要:本文翻译翻译自http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/ClusterSetup.html 具体的实践,请参阅:搭建两个节点的简单hdfs集群。 译注:仅仅是翻译,内容关于搭建一个纯净,简单的hado
阅读全文
摘要:本人翻译自: http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/ServiceLevelAuth.html 译注:相对于kerberos等等而言,这个显得简单得多,但作用也不小。在无法知道用户密码或者无法接近
阅读全文
摘要:本文主要翻译自 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/SecureMode.html 译注:之所以不翻译为安全模式,是因为namenode启动的时候有个safemode,如果都翻译为安全模式,会有
阅读全文
摘要:此文翻译自 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html 译注:实际部署中,没有安全控制的hadoop的,最好不要使用,因为可能很多心血会毁于一旦。 概览
阅读全文
摘要:hadoop的ha部署-利用zookeeper和jns来实现
阅读全文
摘要:本文翻译自:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html 基于2.8.0文档 1.目的 本文可以作为以下人员的入门指引:使用hdfs的用户,或者仅仅使用分布式文件系统的用
阅读全文
摘要:本文主要参考 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/RackAwareness.html hadoop组件是机栈敏感(译注rack,机栈,可以简单理解为节点的摆放)。 例如,HDFS块的分布会利用
阅读全文
摘要:本文主要参考 http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 主要内容是对该文章的翻译,部分内容参考其他的网络文章。 1.简介 hadoop分布式文件系统(HDFS)是一个分布式
阅读全文
摘要:hadoop命令 hdfs命令 yarn命令 简介
阅读全文
摘要:虚拟机上安装 hadoop+hive+presto
阅读全文