随笔分类 - kafka
摘要：1.概述 本课程的视频教程地址：《Kafka实战项目之分析与设计》 本课程我通过一个用户实时上报日志案例作为基础，带着大家去分析Kafka这样一个项目的各个环节，从而对项目的整体设计做比较合理的规划，最终让大家能够通过本课程去掌握类似Kafka项目的分析与设计。下面，我给大家介绍本课程包含的课时...
阅读全文
摘要：1.概述 本课程的视频教程地址：《Kafka实战项目之应用概述》 本课程是通过一个用户实时上报日志来展开的，通过介绍 Kafka 的业务和应用场景，并带着大家搭建本 Kafka 项目的实战开发环境。下面我们来看看本课程有哪些课时，如下图所示： 接下来，我们开始第一课时的学习：《Kafka 回顾...
阅读全文
摘要：1.概述 经过前面Kafka实战系列的学习，我们通过学习《Kafka实战－入门》了解Kafka的应用场景和基本原理，《Kafka实战－Kafka Cluster》一文给大家分享了Kafka集群的搭建部署，让大家掌握了集群的搭建步骤，《Kafka实战－实时日志统计流程》一文给大家讲解一个项目（或者说...
阅读全文
摘要：1.概述 在《Kafka实战－Flume到Kafka》一文中给大家分享了Kafka的数据源生产，今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容，如下所示：数据消费Storm计算预览截图 接下来，我们开始分享今天的内容。2.数据消费 ...
阅读全文
摘要：1.概述 前面给大家介绍了整个Kafka项目的开发流程，今天给大家分享Kafka如何获取数据源，即Kafka生产数据。下面是今天要分享的目录：数据来源Flume到Kafka数据源加载预览 下面开始今天的分享内容。2.数据来源 Kafka生产的数据，是由Flume的Sink提供的，这里我们需要用...
阅读全文
摘要：1.概述 在《Kafka实战－简单示例》一文中给大家介绍来Kafka的简单示例，演示了如何编写Kafka的代码去生产数据和消费数据，今天给大家介绍如何去整合一个完整的项目，本篇博客我打算为大家介绍Flume＋Kafka＋Storm的实时日志统计，由于涉及的内容较多，这里先给大家梳理一个项目的运用这...
阅读全文
摘要：1.概述 前面给大家介绍了Kafka的背景以及一些应用场景，并附带上演示了Kafka的简单示例。然后，在开发的过程当中，我们会发现一些问题，那就是消息的监控情况。虽然，在启动Kafka的相关服务后，我们生产消息和消费消息会在终端控制台显示这些记录信息，但是，这样始终不够友好，而且，在实际开发中，我...
阅读全文
摘要：1.概述 上一篇博客《Kafka实战－Kafka Cluster》中，为大家介绍了Kafka集群的安装部署，以及对Kafka集群Producer/Consumer、HA等做了相关测试，今天我们来开发一个Kafka示例，练习如何在Kafka中进行编程，下面是今天的分享的目录结构：开发环境Config...
阅读全文
摘要：1.概述 在《Kafka实战－入门》一篇中，为大家介绍了Kafka的相关背景、原理架构以及一些关键知识点，本篇博客为大家来赘述一下Kafka Cluster的相关内容，下面是今天为大家分享的目录：基础软件的准备Kafka Cluster的部署Send MessagesHA特性 下面开始今天的内容...
阅读全文
摘要：1.概述 经过一个多月的时间观察，业务上在集成Kafka后，各方面还算稳定，这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门，让大家对Kafka有个初步的了解，知道Kafka是做什么的，下面是本篇博客的目录内容：Kafka背景Kafka应用场景Kafka...
阅读全文
