哥不是小萝莉

摘要： 1.概述 经过一个多月的时间观察，业务上在集成Kafka后，各方面还算稳定，这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门，让大家对Kafka有个初步的了解，知道Kafka是做什么的，下面是本篇博客的目录内容：Kafka背景Kafka应用场景Kafka... 阅读全文

摘要： 1.概述 前面一篇博客《高可用Hadoop平台－Ganglia安装部署》，为大家介绍了Ganglia在Hadoop中的集成，今天为大家介绍另一款工具——Hue，该工具功能比较丰富，下面是今天为大家分享的内容目录：Hue简述Hue In Hadoop截图预览 本文所使用的环境是Apache Had... 阅读全文

摘要： 1.概述 最近，有朋友私密我，Hadoop有什么好的监控工具，其实，Hadoop的监控工具还是蛮多的。今天给大家分享一个老牌监控工具Ganglia，这个在企业用的也算是比较多的，Hadoop对它的兼容也很好，不过就是监控界面就不是很美观。下次给大家介绍另一款工具——Hue，这个界面官方称为Hado... 阅读全文

摘要： 1.概述 今天补充一篇HBase集群的搭建，这个是高可用系列遗漏的一篇博客，今天抽时间补上，今天给大家介绍的主要内容目录如下所示：基础软件的准备HBase介绍HBase集群搭建单点问题验证截图预览 那么，接下来我们开始今天的HBase集群搭建学习。2.基础软件的准备 由于HBase的数据是存放... 阅读全文

摘要： 1.概述 今天在观察集群时，发现NN节点的负载过高，虽然对NN节点的资源进行了调整，同时对NN节点上的应用程序进行重新打包调整，负载问题暂时得到缓解。但是，我想了想，这样也不是长久之计。通过这个问题，我重新分析了一下以前应用部署架构图，发现了一些问题的所在，之前的部署架构是，将打包的应用直接部署在... 阅读全文

摘要： 1.概述 在《Hadoop2源码分析－RPC机制初识》博客中，我们对RPC机制有了初步的认识和了解，下面我们对Hadoop V2的RPC机制做进一步探索，在研究Hadoop V2的RPC机制，我们需要掌握相关的Java基础知识，如：Java NIO、动态代理与反射等。本篇博客介绍的内容目录如下所示... 阅读全文

摘要： 1.概述 今天补充一篇关于Flume的博客，前面在讲解高可用的Hadoop平台的时候遗漏了这篇，本篇博客为大家讲述以下内容：Flume NG简述单点Flume NG搭建、运行高可用Flume NG搭建Failover测试截图预览 下面开始今天的博客介绍。2.Flume NG简述 Flume N... 阅读全文

摘要： 1.概述 上一篇博客，讲述Hadoop V2的序列化机制，这为我们学习Hadoop V2的RPC机制奠定了基础。RPC的内容涵盖的信息有点多，包含Hadoop的序列化机制，RPC，代理，NIO等。若对Hadoop序列化不了解的同学，可以参考《Hadoop2源码分析－序列化篇》。今天这篇博客为大家介... 阅读全文

摘要： 1.概述 上一篇我们了解了MapReduce的相关流程，包含MapReduce V2的重构思路，新的设计架构，与MapReduce V1的区别等内容，今天我们在来学习下在Hadoop V2中的序列化的相关内容，其目录如下所示：序列化的由来Hadoop序列化依赖图详解Writable常用实现类 下... 阅读全文

摘要： 1.概述 前面我们已经对Hadoop有了一个初步认识，接下来我们开始学习Hadoop的一些核心的功能，其中包含mapreduce，fs，hdfs，ipc，io，yarn，今天为大家分享的是mapreduce部分，其内容目录如下所示：MapReduce V1MapReduce V2MR V1和MR ... 阅读全文