随笔分类 -  hadoop

上一页 1 2 3 4 5 6 7 下一页
hadoop生态圈记录
Kafka实战－数据持久化
摘要：1.概述 经过前面Kafka实战系列的学习，我们通过学习《Kafka实战－入门》了解Kafka的应用场景和基本原理，《Kafka实战－Kafka Cluster》一文给大家分享了Kafka集群的搭建部署，让大家掌握了集群的搭建步骤，《Kafka实战－实时日志统计流程》一文给大家讲解一个项目（或者说... 阅读全文
posted @ 2015-07-15 14:32 哥不是小萝莉 阅读(12332) 评论(4) 推荐(2) 编辑
Kafka实战－Kafka到Storm
摘要：1.概述 在《Kafka实战－Flume到Kafka》一文中给大家分享了Kafka的数据源生产，今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容，如下所示：数据消费Storm计算预览截图 接下来，我们开始分享今天的内容。2.数据消费　... 阅读全文
posted @ 2015-07-09 11:29 哥不是小萝莉 阅读(22888) 评论(0) 推荐(6) 编辑
Kafka实战－Flume到Kafka
摘要：1.概述 前面给大家介绍了整个Kafka项目的开发流程，今天给大家分享Kafka如何获取数据源，即Kafka生产数据。下面是今天要分享的目录：数据来源Flume到Kafka数据源加载预览 下面开始今天的分享内容。2.数据来源 Kafka生产的数据，是由Flume的Sink提供的，这里我们需要用... 阅读全文
posted @ 2015-07-02 14:09 哥不是小萝莉 阅读(27098) 评论(5) 推荐(6) 编辑
Hadoop项目实战－用户行为分析之编码实践
摘要：1.概述 本课程的视频教程地址：《用户行为分析之编码实践》 本课程以用户行为分析案例为基础，带着大家去完成对各个KPI的编码工作，以及应用调度工作，让大家通过本课程掌握Hadoop项目的编码、调度流程。下面我们来看看本课程有哪些课时，如下图所示： 首先，我们来学习第一课时：《Hadoop项目基... 阅读全文
posted @ 2015-06-24 09:16 哥不是小萝莉 阅读(6440) 评论(5) 推荐(5) 编辑
Kafka实战－Storm Cluster
摘要：1.概述 在《Kafka实战－实时日志统计流程》一文中，谈到了Storm的相关问题，在完成实时日志统计时，我们需要用到Storm去消费Kafka Cluster中的数据，所以，这里我单独给大家分享一篇Storm Cluster的搭建部署。以下是今天的分享目录：Storm简述基础软件安装部署效果预览... 阅读全文
posted @ 2015-06-18 10:56 哥不是小萝莉 阅读(4747) 评论(0) 推荐(3) 编辑
Kafka实战－实时日志统计流程
摘要：1.概述 在《Kafka实战－简单示例》一文中给大家介绍来Kafka的简单示例，演示了如何编写Kafka的代码去生产数据和消费数据，今天给大家介绍如何去整合一个完整的项目，本篇博客我打算为大家介绍Flume＋Kafka＋Storm的实时日志统计，由于涉及的内容较多，这里先给大家梳理一个项目的运用这... 阅读全文
posted @ 2015-06-16 18:20 哥不是小萝莉 阅读(18684) 评论(0) 推荐(8) 编辑
Hadoop项目实战－用户行为分析之分析与设计
摘要：1.概述 本课程的视频教程地址：《用户行为分析之分析与设计》 下面开始本教程的学习，本教程以用户行为分析案例为基础，带着大家对项目的各个指标做详细的分析，对项目的整体设计做合理的规划，让大家能通过本课程掌握Hadoop项目的分析与设计。该课程主要包含以下课时： 他们分别是：项目整体分析，项目指标... 阅读全文
posted @ 2015-06-11 18:40 哥不是小萝莉 阅读(4502) 评论(0) 推荐(6) 编辑
Hadoop项目实战－用户行为分析之应用概述（三）
摘要：1.概述 本课程的视频教程地址：《项目工程准备》 本节给大家分享的主题如下图所示： 下面我开始为大家分享今天的第三节的内容——《项目工程准备》，接下来开始分享今天的内容。2.内容 从本节开始，我们将进入到Hadoop项目的工程准备一节学习，本节课程为大家介绍的主要知识点有一下内容，如下图所示... 阅读全文
posted @ 2015-06-11 08:59 哥不是小萝莉 阅读(1750) 评论(0) 推荐(1) 编辑
Hadoop项目实战－用户行为分析之应用概述（二）
摘要：1.概述 本课程的视频教程地址：《项目整体概述》 本节给大家分享的主题如下图所示： 下面我开始为大家分享第二节的内容——《项目整体概述》，下面开始今天的分享内容。2.内容 从本节开始，我们将进入到Hadoop项目的整体概述一节学习，本节课程为大家介绍的主要知识点有一下内容，如下图所示： 下... 阅读全文
posted @ 2015-06-10 08:21 哥不是小萝莉 阅读(2493) 评论(1) 推荐(4) 编辑
Hadoop项目实战－用户行为分析之应用概述（一）
摘要：1.概述 本课程的视频教程地址：《Hadoop 回顾》 好的，下面就开始本篇教程的内容分享，本篇教程我为大家介绍我们要做一个什么样的Hadoop项目，并且对Hadoop项目的基本特点和其中的难点做有针对性的剖析，完成项目环境的基本配置，以及项目工程和Hadoop插件的相关准备等工作。 本课程主... 阅读全文
posted @ 2015-06-09 17:27 哥不是小萝莉 阅读(5184) 评论(5) 推荐(4) 编辑
Kafka实战－KafkaOffsetMonitor
摘要：1.概述 前面给大家介绍了Kafka的背景以及一些应用场景，并附带上演示了Kafka的简单示例。然后，在开发的过程当中，我们会发现一些问题，那就是消息的监控情况。虽然，在启动Kafka的相关服务后，我们生产消息和消费消息会在终端控制台显示这些记录信息，但是，这样始终不够友好，而且，在实际开发中，我... 阅读全文
posted @ 2015-06-09 09:21 哥不是小萝莉 阅读(9618) 评论(1) 推荐(7) 编辑
Hadoop2源码分析－HDFS核心模块分析
摘要：1.概述 这篇博客接着《Hadoop2源码分析－RPC机制初识》来讲述，前面我们对MapReduce、序列化、RPC进行了分析和探索，对Hadoop V2的这些模块都有了大致的了解，通过对这些模块的研究，我们明白了MapReduce的运行流程以及内部的实现机制，Hadoop的序列化以及它的通信机制... 阅读全文
posted @ 2015-06-04 11:15 哥不是小萝莉 阅读(5532) 评论(0) 推荐(3) 编辑
Kafka实战－简单示例
摘要：1.概述 上一篇博客《Kafka实战－Kafka Cluster》中，为大家介绍了Kafka集群的安装部署，以及对Kafka集群Producer/Consumer、HA等做了相关测试，今天我们来开发一个Kafka示例，练习如何在Kafka中进行编程，下面是今天的分享的目录结构：开发环境Config... 阅读全文
posted @ 2015-06-01 09:13 哥不是小萝莉 阅读(39019) 评论(5) 推荐(3) 编辑
Kafka实战－Kafka Cluster
摘要：1.概述 在《Kafka实战－入门》一篇中，为大家介绍了Kafka的相关背景、原理架构以及一些关键知识点，本篇博客为大家来赘述一下Kafka Cluster的相关内容，下面是今天为大家分享的目录：基础软件的准备Kafka Cluster的部署Send MessagesHA特性 下面开始今天的内容... 阅读全文
posted @ 2015-05-29 12:01 哥不是小萝莉 阅读(23268) 评论(0) 推荐(8) 编辑
Kafka实战－入门
摘要：1.概述 经过一个多月的时间观察，业务上在集成Kafka后，各方面还算稳定，这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门，让大家对Kafka有个初步的了解，知道Kafka是做什么的，下面是本篇博客的目录内容：Kafka背景Kafka应用场景Kafka... 阅读全文
posted @ 2015-05-26 11:11 哥不是小萝莉 阅读(10738) 评论(2) 推荐(9) 编辑
高可用Hadoop平台－Hue In Hadoop
摘要：1.概述 前面一篇博客《高可用Hadoop平台－Ganglia安装部署》，为大家介绍了Ganglia在Hadoop中的集成，今天为大家介绍另一款工具——Hue，该工具功能比较丰富，下面是今天为大家分享的内容目录：Hue简述Hue In Hadoop截图预览 本文所使用的环境是Apache Had... 阅读全文
posted @ 2015-05-25 09:51 哥不是小萝莉 阅读(48710) 评论(7) 推荐(5) 编辑
高可用Hadoop平台－Ganglia安装部署
摘要：1.概述 最近，有朋友私密我，Hadoop有什么好的监控工具，其实，Hadoop的监控工具还是蛮多的。今天给大家分享一个老牌监控工具Ganglia，这个在企业用的也算是比较多的，Hadoop对它的兼容也很好，不过就是监控界面就不是很美观。下次给大家介绍另一款工具——Hue，这个界面官方称为Hado... 阅读全文
posted @ 2015-05-21 15:43 哥不是小萝莉 阅读(7397) 评论(1) 推荐(4) 编辑
高可用Hadoop平台－HBase集群搭建
摘要：1.概述 今天补充一篇HBase集群的搭建，这个是高可用系列遗漏的一篇博客，今天抽时间补上，今天给大家介绍的主要内容目录如下所示：基础软件的准备HBase介绍HBase集群搭建单点问题验证截图预览 那么，接下来我们开始今天的HBase集群搭建学习。2.基础软件的准备 由于HBase的数据是存放... 阅读全文
posted @ 2015-05-19 10:01 哥不是小萝莉 阅读(9905) 评论(6) 推荐(7) 编辑
高可用Hadoop平台－应用JAR部署
摘要：1.概述 今天在观察集群时，发现NN节点的负载过高，虽然对NN节点的资源进行了调整，同时对NN节点上的应用程序进行重新打包调整，负载问题暂时得到缓解。但是，我想了想，这样也不是长久之计。通过这个问题，我重新分析了一下以前应用部署架构图，发现了一些问题的所在，之前的部署架构是，将打包的应用直接部署在... 阅读全文
posted @ 2015-05-12 15:37 哥不是小萝莉 阅读(2066) 评论(3) 推荐(4) 编辑
Hadoop2源码分析－RPC探索实战
摘要：1.概述 在《Hadoop2源码分析－RPC机制初识》博客中，我们对RPC机制有了初步的认识和了解，下面我们对Hadoop V2的RPC机制做进一步探索，在研究Hadoop V2的RPC机制，我们需要掌握相关的Java基础知识，如：Java NIO、动态代理与反射等。本篇博客介绍的内容目录如下所示... 阅读全文
posted @ 2015-05-08 11:05 哥不是小萝莉 阅读(2696) 评论(0) 推荐(4) 编辑

上一页 1 2 3 4 5 6 7 下一页