屌丝码农

摘要： 一 Kafka概述 1.1 Kafka是什么 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn开发， 阅读全文

摘要： 一、项目整体概述 简述项目的背景 背景：用户行迹企业运营 分析项目的目的 通过对项目的分析，可以初步得到以下目的： •实时掌握用户动态 •根据实时统计结果，适度推广 •统计分析效果，快速合理的调整 通过对项目的分析，可以初步得到以下目的： •实时掌握用户动态 •根据实时统计结果，适度推广 •统计分析 阅读全文

摘要： 一、数据生产实现 1.配置数据生产模块 项目基础配置所包含的内容，如下所示： •项目工程的文件配置 •集群连接信息配置 •开发演示 项目基础配置所包含的内容，如下所示： •项目工程的文件配置 •集群连接信息配置 •开发演示 2.实现 Flume 到 Kafka 模块 实现 Flume 到 Kafka 阅读全文

摘要： 一、kafka 回顾 1.简介 Kafka 的业务 业务场景： 解除耦合 增加冗余 提高可扩展性 Buffering 异步通信 2.介绍 Kafka 的应用场景 Push Message Website Tracking 日志收集中心 3.实时统计平台搭建注意事项 实时统计平台搭建注意事项： HA特 阅读全文

摘要： 1、请说明什么是Apache Kafka? Apache Kafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和重复的日志服务。 2、请说明什么是传统的消息传递方法? 传统的消息传递方法包括两种： 排队：在队列中，一组用户可以从服务器中读取消息，每条消息都发送给其中一个人。 阅读全文

摘要： 一、Kafka消费者源码介绍 1.分区消费模式源码介绍 分区消费模式直接由客户端(任何高级语言编写)使用Kafka提供的协议向服务器发送RPC请求获取数据，服务器接受到客户端的RPC请求后，将数据构造成RPC响应，返回给客户端，客户端解析相应的RPC响应获取数据。Kafka支持的协议众多，使用比较重 阅读全文