摘要：
本篇内容关注NameNode启动之前，active状态和standby状态的一些后台服务及准备工作，即源码里的CommonServices。主要包括磁盘空间检查、 可用资源检查、安全模式等。依然分为三部分：源码调用分析、伪代码核心梳理、调用关系图解。 第一部分，源码调用分析。 接着上篇RpcServ 阅读全文
摘要：
老规矩，还是分三步走，分别为源码调用分析、伪代码核心梳理、调用关系图解。 一、源码调用分析 根据上篇的梳理，直接从initialize()方法着手。源码如下，部分代码的功能以及说明，已经在注释阐述了。 这段代码涉及到rpc server初始化及启动的核心，有两处： 第一处是rpcServer = c 阅读全文
摘要：
上篇内容分析了http server的启动代码，这篇文章继续从initialize()方法中按执行顺序进行分析。内容还是分为三大块： 一、源码调用关系分析 二、伪代码执行流程 三、代码图解 一、源码调用关系分析 上一篇内容是NameNode启动http server的分析，是根据锁定NameNode 阅读全文
摘要：
NameNodeHttpServer启动源码剖析，这一部分主要按以下步骤进行： 一、源码调用分析 二、伪代码调用流程梳理 三、http server服务流程图解 第一步，源码调用分析 前一篇文章已经锁定到了NameNode.java类文件，搜索找到main()，可以看到代码只有寥寥几行，再筛除掉一些 阅读全文
摘要：
最近在跟着一个大佬学习Hadoop底层源码及架构等知识点，觉得有必要记录下来这个学习过程。想到了这个废弃已久的blog账号，决定重新开始更新。 主要分以下几步来进行源码学习： 一、搭建源码阅读环境二、源码项目结构概览及hdfs源码包结构简介三、NameNode介绍 第一步，搭建源码阅读环境。 把Ha 阅读全文
摘要：
近日在做爬虫功能，爬取网页内容，然后对内容进行语义分析，最后对网页打标签，从而判断访问该网页的用户的属性。 在爬取内容时，遇到乱码问题。故需对网页内容编码格式做判断，方式大体分为三种：一、从header标签中获取Content-Type=#Charset；二、从meta标签中获取Content-Ty 阅读全文
摘要：
完全分布式部署安装 NameNode和SecondaryNameNode分离安装 日志路径更改 阅读全文
摘要：
一、初识Python Python官方网站：www.python.org 版本：python-3.4.3.amd64 初次接触Python，没有使用Python 2.x进行开发真实项目的经历。所以不知2.x版本和3.x版本孰优孰劣，目前是作为一门兴趣来了解及学习。 二、安装 windows环境安装 阅读全文