飞天虎

摘要： 1. 执行hdfs-config.sh2. 如果参数个数超过1，读取第一个参数。 -upgrade则继续，即dataStartOpt=""，nameStartOpt="$@"； -rollback，则dataStartOpt="-rollback"，nameStartOpt="-rollback $@"3. 执行bin/hdfsgetconf -namenodes获取NAMENODES 执行sbin/hadoop-daemons.sh"--config "$HADOOP_CONF_DIR&quo 阅读全文

摘要： 一、libexec/hdfs-config.sh执行hadoop-config.sh二、libexec/yarn-config.sh执行hadoop-config.shexport MALLOC_ARENA_MAX=${MALLOC_ARENA_MAX:-4}export YARN_CONF_DIR="${HADOOP_CONF_DIR:-$HADOOP_YARN_HOME/conf}"读取--hosts参数，设置为slavesfile三、libexec/mapred-config.sh执行hadoop-config.sh设置LOG：HADOOP_MAPRED_LOG_DI 阅读全文

摘要： 1. export JAVA_HOME2. 设置HADOOP_CONF_DIR，默认etc/hadoop3. 设置HADOOP_CLASSPATH为contrib/capacity-scheduler/*.jar，即将所有jar包加入HADOOP_CLASSPATH4. 设置HADOOP_OPTS，-Djava.net.preferIPv4Stack=true5. 设置其他环境变量export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit 阅读全文

摘要： start-all.sh调用start-dfs.sh和start-yarn.shstart-dfs.sh和start-yarn.sh都调用libexec/hadoop-config.sh初始化环境配置一. libexec/hadoop-config.sh1. 初始化库文件环境变量，包括share/hadoop/*和lib/native，share目录是jar库文件，lib/native目录下是C/C++库文件2. 如果使用--config 参数，则设置为自定义配置文件目录HADOOP_CONF_DIR3. 检测conf/hadoop-env.sh是否存在，存在则设置conf为默认配置文件目录D 阅读全文

摘要： 基本流程publicstaticvoidmain(String[]args){Thread.setDefaultUncaughtExceptionHandler(newYarnUncaughtExceptionHandler());StringUtils.startupShutdownMessage(NodeManager.class,args,LOG);NodeManagernodeManager=newNodeManager();Configurationconf=newYarnConfiguration();setHttpPolicy(conf);nodeManager.initAndS 阅读全文

摘要： 基本流程publicstaticvoidmain(Stringargv[]){//设置发生未捕获异常时的处理HandlerThread.setDefaultUncaughtExceptionHandler(newYarnUncaughtExceptionHandler());//同namenode相同，设置启动和关闭时记录日志信息StringUtils.startupShutdownMessage(ResourceManager.class,argv,LOG);try{/**1.初始化配置对象和ResourceManager对象*2.设置ResourceManager关闭时，清理compos. 阅读全文

摘要： name value description hadoop.hdfs.configuration.version 1 配置文件版本 dfs.namenode.logging.level info ... 阅读全文

摘要： 整体流程：1. 设置系统关闭或中断时的日志处理 2. 创建NameNode前检查启动选项1) 创建HdfsConfiguration，增加DeprecatedKeys，适配非标准的配置Key；标记hdfs-default.xml和hdfs-site.xml，但不读取文件和配置项2) 获取命令行参数，设置命令行参数3) 设置命令行参数4) 检查设置HA时，不允许UPGRADE 5) 检查startOpt选项（之后有时间再分析一下启动选项） 3. 创建NameNode，执行join()流程的重点在于创建NameNode这一块，以下详细分析创建NameNode 1. 代码1252行，分两步走，先初. 阅读全文

摘要： 1、前言redis内存分配库支持jemalloc（Linux默认）、tcmalloc、libc（非Linux默认），编译方式参考Makefile。三种内存分配方式的比较待以后总结——>？2、adlist.h/adlist.c基本数据结构是带头结点的双向链表（非循环），调用依赖zmalloc.h/zmalloc.ctypedef struct listIter { listNode *next; int direction;} listIter;typedef struct list { listNode *head; listNode *tail; void *(... 阅读全文

摘要： 。。。代码分析之后再总结 阅读全文