06 2015 档案
摘要:1.概述 本课程的视频教程地址:《用户行为分析之编码实践》 本课程以用户行为分析案例为基础,带着大家去完成对各个KPI的编码工作,以及应用调度工作,让大家通过本课程掌握Hadoop项目的编码、调度流程。下面我们来看看本课程有哪些课时,如下图所示: 首先,我们来学习第一课时:《Hadoop项目基...
阅读全文
摘要:1.概述 在《Kafka实战-实时日志统计流程》一文中,谈到了Storm的相关问题,在完成实时日志统计时,我们需要用到Storm去消费Kafka Cluster中的数据,所以,这里我单独给大家分享一篇Storm Cluster的搭建部署。以下是今天的分享目录:Storm简述基础软件安装部署效果预览...
阅读全文
摘要:1.概述 在《Kafka实战-简单示例》一文中给大家介绍来Kafka的简单示例,演示了如何编写Kafka的代码去生产数据和消费数据,今天给大家介绍如何去整合一个完整的项目,本篇博客我打算为大家介绍Flume+Kafka+Storm的实时日志统计,由于涉及的内容较多,这里先给大家梳理一个项目的运用这...
阅读全文
摘要:1.概述 本课程的视频教程地址:《用户行为分析之分析与设计》 下面开始本教程的学习,本教程以用户行为分析案例为基础,带着大家对项目的各个指标做详细的分析,对项目的整体设计做合理的规划,让大家能通过本课程掌握Hadoop项目的分析与设计。该课程主要包含以下课时: 他们分别是:项目整体分析,项目指标...
阅读全文
摘要:1.概述 本课程的视频教程地址:《项目工程准备》 本节给大家分享的主题如下图所示: 下面我开始为大家分享今天的第三节的内容——《项目工程准备》,接下来开始分享今天的内容。2.内容 从本节开始,我们将进入到Hadoop项目的工程准备一节学习,本节课程为大家介绍的主要知识点有一下内容,如下图所示...
阅读全文
摘要:1.概述 本课程的视频教程地址:《项目整体概述》 本节给大家分享的主题如下图所示: 下面我开始为大家分享第二节的内容——《项目整体概述》,下面开始今天的分享内容。2.内容 从本节开始,我们将进入到Hadoop项目的整体概述一节学习,本节课程为大家介绍的主要知识点有一下内容,如下图所示: 下...
阅读全文
摘要:1.概述 本课程的视频教程地址:《Hadoop 回顾》 好的,下面就开始本篇教程的内容分享,本篇教程我为大家介绍我们要做一个什么样的Hadoop项目,并且对Hadoop项目的基本特点和其中的难点做有针对性的剖析,完成项目环境的基本配置,以及项目工程和Hadoop插件的相关准备等工作。 本课程主...
阅读全文
摘要:1.概述 前面给大家介绍了Kafka的背景以及一些应用场景,并附带上演示了Kafka的简单示例。然后,在开发的过程当中,我们会发现一些问题,那就是消息的监控情况。虽然,在启动Kafka的相关服务后,我们生产消息和消费消息会在终端控制台显示这些记录信息,但是,这样始终不够友好,而且,在实际开发中,我...
阅读全文
摘要:1.概述 这篇博客接着《Hadoop2源码分析-RPC机制初识》来讲述,前面我们对MapReduce、序列化、RPC进行了分析和探索,对Hadoop V2的这些模块都有了大致的了解,通过对这些模块的研究,我们明白了MapReduce的运行流程以及内部的实现机制,Hadoop的序列化以及它的通信机制...
阅读全文
摘要:1.概述 上一篇博客《Kafka实战-Kafka Cluster》中,为大家介绍了Kafka集群的安装部署,以及对Kafka集群Producer/Consumer、HA等做了相关测试,今天我们来开发一个Kafka示例,练习如何在Kafka中进行编程,下面是今天的分享的目录结构:开发环境Config...
阅读全文