14个最常见的Kafka面试题及答案
摘要：1、请说明什么是Apache Kafka? Apache Kafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和重复的日志服务。 2、请说明什么是传统的消息传递方法? 传统的消息传递方法包括两种： 排队：在队列中，一组用户可以从服务器中读取消息，每条消息都发送给其中一个人。
阅读全文
posted @ 2019-01-28 13:44
文章分类 - Kafka
Kafka 温故(五)：Kafka的消费编程模型
摘要：Kafka的消费模型分为两种： 1.分区消费模型 2.分组消费模型 一.分区消费模型 二、分组消费模型 Producer ：
阅读全文
posted @ 2019-01-28 10:53
Kafka 温故(三)：Kafka的内部机制深入(持久化，分布式，通讯协议)
摘要：一.Kafka的持久化 1.数据持久化： 发现线性的访问磁盘（即：按顺序的访问磁盘），很多时候比随机的内存访问快得多，而且有利于持久化； 传统的使用内存做为磁盘的缓存 Kafka直接将数据写入到日志文件中，以追加的形式写入 2.日志数据持久化特性： 写操作：通过将数据追加到文件中实现 读操作：读的时
阅读全文
posted @ 2019-01-28 10:52
Kafka 温故(四)：Kafka的安装
摘要：Step 1: 下载Kafka > tar -xzf kafka_2.9.2-0.8.1.1.tgz> cd kafka_2.9.2-0.8.1.1 Step 2: 启动服务Kafka用到了Zookeeper，所有首先启动Zookper，下面简单的启用一个单实例的Zookkeeper服务。可以在命令
阅读全文
posted @ 2019-01-28 10:52
Kafka 温故(二)：Kafka的基本概念和结构
摘要：一.Kafka中的核心概念 Producer: 特指消息的生产者Consumer :特指消息的消费者Consumer Group :消费者组，可以并行消费Topic中partition的消息Broker：缓存代理，Kafa 集群中的一台或多台服务器统称为 broker。Topic：特指 Kafka
阅读全文
posted @ 2019-01-28 10:51
Kafka 温故(一)：Kafka背景及架构介绍
摘要：一.Kafka简介 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，使用Scala语言编写，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，多订阅者，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据（实时性的计算）。 在大数据系统中，常常会碰到一
阅读全文
posted @ 2019-01-28 10:51
八、Kafka总结
摘要：一 Kafka概述 1.1 Kafka是什么 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn开发，
阅读全文
posted @ 2019-01-28 10:50
六、Kafka 用户日志上报实时统计之分析与设计
摘要：一、项目整体概述 简述项目的背景 背景：用户行迹企业运营 分析项目的目的 通过对项目的分析，可以初步得到以下目的： •实时掌握用户动态 •根据实时统计结果，适度推广 •统计分析效果，快速合理的调整 通过对项目的分析，可以初步得到以下目的： •实时掌握用户动态 •根据实时统计结果，适度推广 •统计分析
阅读全文
posted @ 2019-01-28 10:49
七、Kafka 用户日志上报实时统计之编码实践
摘要：一、数据生产实现 1.配置数据生产模块 项目基础配置所包含的内容，如下所示： •项目工程的文件配置 •集群连接信息配置 •开发演示 项目基础配置所包含的内容，如下所示： •项目工程的文件配置 •集群连接信息配置 •开发演示 2.实现 Flume 到 Kafka 模块 实现 Flume 到 Kafka
阅读全文
posted @ 2019-01-28 10:49
四、Kafka 核心源码剖析
摘要：一、Kafka消费者源码介绍 1.分区消费模式源码介绍 分区消费模式直接由客户端(任何高级语言编写)使用Kafka提供的协议向服务器发送RPC请求获取数据，服务器接受到客户端的RPC请求后，将数据构造成RPC响应，返回给客户端，客户端解析相应的RPC响应获取数据。Kafka支持的协议众多，使用比较重
阅读全文
posted @ 2019-01-28 10:48
五、Kafka 用户日志上报实时统计之 应用概述
摘要：一、kafka 回顾 1.简介 Kafka 的业务 业务场景： 解除耦合 增加冗余 提高可扩展性 Buffering 异步通信 2.介绍 Kafka 的应用场景 Push Message Website Tracking 日志收集中心 3.实时统计平台搭建注意事项 实时统计平台搭建注意事项： HA特
阅读全文
posted @ 2019-01-28 10:48
三、消息处理过程与集群维护
摘要：一、Kafka消息组织原理 1.磁盘重认识 当需要从磁盘读取数据时，要确定读的数据在哪个磁道，哪个扇区：首先必须找到柱面，即磁头需要移动对准相应磁道，这个过程叫做寻道，所耗费时间叫做寻道时间;然后目标扇区旋转到磁头下,这个过程耗费的时间叫做旋转时间；一次访盘请求（读/写）完成过程由三个动作组成寻道（
阅读全文
posted @ 2019-01-28 10:47
二、Kafka基础实战：消费者和生产者实例
摘要：一、Kafka消费者编程模型 1.分区消费模型 分区消费伪代码描述 main() 获取分区的size for index =0 to size create thread(or process) consumer(Index) 第index个线程(进程) consumer(index) 创建到kaf
阅读全文
posted @ 2019-01-28 10:47
一、Kafka初认识
摘要：一、kafka使用背景 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ 2、Kafka的定义 Wha
阅读全文
posted @ 2019-01-28 10:46
