摘要: 1.概述 在《Hadoop2源码分析-YARN RPC 示例介绍》一文当中,给大家介绍了YARN 的 RPC 机制,以及相关代码的演示,今天我们继续去学习 YARN 的服务库和事件库,分享目录如下所示:服务库和事件库介绍使用示例截图预览 下面开始今天的内容分享。2.服务库和事件库介绍2.1服务库... 阅读全文
posted @ 2015-07-23 11:35 哥不是小萝莉 阅读(2203) 评论(0) 推荐(2) 编辑
摘要: 1.概述 之前在《Hadoop2源码分析-RPC探索实战》一文当中介绍了Hadoop的RPC机制,今天给大家分享关于YARN的RPC的机制。下面是今天的分享目录:YARN的RPC介绍YARN的RPC示例截图预览 下面开始今天的内容分享。2.YARN的RPC介绍 我们知道在Hadoop的RPC当... 阅读全文
posted @ 2015-07-21 16:28 哥不是小萝莉 阅读(4240) 评论(0) 推荐(4) 编辑
摘要: 1.概述 在项目业务倍增的情况下,查询效率受到影响,这里我们经过讨论,引进了分布式搜索套件——ElasticSearch,通过分布式搜索来解决当下业务上存在的问题。下面给大家列出今天分析的目录:ElasticSearch 套件介绍ElasticSearch 应用场景和案例平台架构 下面开始今天的... 阅读全文
posted @ 2015-07-17 16:33 哥不是小萝莉 阅读(10694) 评论(6) 推荐(2) 编辑
摘要: 1.概述 经过前面Kafka实战系列的学习,我们通过学习《Kafka实战-入门》了解Kafka的应用场景和基本原理,《Kafka实战-Kafka Cluster》一文给大家分享了Kafka集群的搭建部署,让大家掌握了集群的搭建步骤,《Kafka实战-实时日志统计流程》一文给大家讲解一个项目(或者说... 阅读全文
posted @ 2015-07-15 14:32 哥不是小萝莉 阅读(12313) 评论(4) 推荐(2) 编辑
摘要: 1.概述 在《Kafka实战-Flume到Kafka》一文中给大家分享了Kafka的数据源生产,今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容,如下所示:数据消费Storm计算预览截图 接下来,我们开始分享今天的内容。2.数据消费 ... 阅读全文
posted @ 2015-07-09 11:29 哥不是小萝莉 阅读(22872) 评论(0) 推荐(6) 编辑
摘要: 1.概述 今天查看Gmail,有网友私密我Gitlab的Pull Request工作流程,一直以为我写过这片博客,查看《Git和Gitlab协同工作》却发现遗漏了Pull Request这篇博客,今天将这篇文章补上。分享的内容如下所示:项目构建开发使用Pull RequestReview代码 下... 阅读全文
posted @ 2015-07-06 18:28 哥不是小萝莉 阅读(24398) 评论(1) 推荐(1) 编辑
摘要: 1.概述 前面给大家介绍了整个Kafka项目的开发流程,今天给大家分享Kafka如何获取数据源,即Kafka生产数据。下面是今天要分享的目录:数据来源Flume到Kafka数据源加载预览 下面开始今天的分享内容。2.数据来源 Kafka生产的数据,是由Flume的Sink提供的,这里我们需要用... 阅读全文
posted @ 2015-07-02 14:09 哥不是小萝莉 阅读(27082) 评论(5) 推荐(6) 编辑
摘要: 1.概述 本课程的视频教程地址:《用户行为分析之编码实践》 本课程以用户行为分析案例为基础,带着大家去完成对各个KPI的编码工作,以及应用调度工作,让大家通过本课程掌握Hadoop项目的编码、调度流程。下面我们来看看本课程有哪些课时,如下图所示: 首先,我们来学习第一课时:《Hadoop项目基... 阅读全文
posted @ 2015-06-24 09:16 哥不是小萝莉 阅读(6420) 评论(5) 推荐(5) 编辑
摘要: 1.概述 在《Kafka实战-实时日志统计流程》一文中,谈到了Storm的相关问题,在完成实时日志统计时,我们需要用到Storm去消费Kafka Cluster中的数据,所以,这里我单独给大家分享一篇Storm Cluster的搭建部署。以下是今天的分享目录:Storm简述基础软件安装部署效果预览... 阅读全文
posted @ 2015-06-18 10:56 哥不是小萝莉 阅读(4740) 评论(0) 推荐(3) 编辑
摘要: 1.概述 在《Kafka实战-简单示例》一文中给大家介绍来Kafka的简单示例,演示了如何编写Kafka的代码去生产数据和消费数据,今天给大家介绍如何去整合一个完整的项目,本篇博客我打算为大家介绍Flume+Kafka+Storm的实时日志统计,由于涉及的内容较多,这里先给大家梳理一个项目的运用这... 阅读全文
posted @ 2015-06-16 18:20 哥不是小萝莉 阅读(18661) 评论(0) 推荐(8) 编辑