上一页 1 2 3 4 5 6 7 8 9 ··· 26 下一页

2018年10月19日

Kafka 温故(四):Kafka的安装

摘要: Step 1: 下载Kafka > tar -xzf kafka_2.9.2-0.8.1.1.tgz> cd kafka_2.9.2-0.8.1.1 Step 2: 启动服务Kafka用到了Zookeeper,所有首先启动Zookper,下面简单的启用一个单实例的Zookkeeper服务。可以在命令 阅读全文

posted @ 2018-10-19 22:10 pony1223 阅读(221) 评论(0) 推荐(0) 编辑

2018年10月18日

Kafka 温故(三):Kafka的内部机制深入(持久化,分布式,通讯协议)

摘要: 一.Kafka的持久化 1.数据持久化: 发现线性的访问磁盘(即:按顺序的访问磁盘),很多时候比随机的内存访问快得多,而且有利于持久化; 传统的使用内存做为磁盘的缓存 Kafka直接将数据写入到日志文件中,以追加的形式写入 2.日志数据持久化特性: 写操作:通过将数据追加到文件中实现 读操作:读的时 阅读全文

posted @ 2018-10-18 22:25 pony1223 阅读(6418) 评论(0) 推荐(0) 编辑

Kafka 温故(二):Kafka的基本概念和结构

摘要: 一.Kafka中的核心概念 Producer: 特指消息的生产者Consumer :特指消息的消费者Consumer Group :消费者组,可以并行消费Topic中partition的消息Broker:缓存代理,Kafa 集群中的一台或多台服务器统称为 broker。Topic:特指 Kafka 阅读全文

posted @ 2018-10-18 22:20 pony1223 阅读(1717) 评论(0) 推荐(0) 编辑

2018年10月17日

Kafka 温故(一):Kafka背景及架构介绍

摘要: 一.Kafka简介 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,使用Scala语言编写,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,多订阅者,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据(实时性的计算)。 在大数据系统中,常常会碰到一 阅读全文

posted @ 2018-10-17 22:26 pony1223 阅读(640) 评论(0) 推荐(0) 编辑

2018年10月13日

八、Kafka总结

摘要: 一 Kafka概述 1.1 Kafka是什么 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2)Kafka最初是由LinkedIn开发, 阅读全文

posted @ 2018-10-13 22:26 pony1223 阅读(1348) 评论(0) 推荐(1) 编辑

六、Kafka 用户日志上报实时统计之分析与设计

摘要: 一、项目整体概述 简述项目的背景 背景:用户行迹企业运营 分析项目的目的 通过对项目的分析,可以初步得到以下目的: •实时掌握用户动态 •根据实时统计结果,适度推广 •统计分析效果,快速合理的调整 通过对项目的分析,可以初步得到以下目的: •实时掌握用户动态 •根据实时统计结果,适度推广 •统计分析 阅读全文

posted @ 2018-10-13 21:57 pony1223 阅读(1341) 评论(0) 推荐(0) 编辑

七、Kafka 用户日志上报实时统计之编码实践

摘要: 一、数据生产实现 1.配置数据生产模块 项目基础配置所包含的内容,如下所示: •项目工程的文件配置 •集群连接信息配置 •开发演示 项目基础配置所包含的内容,如下所示: •项目工程的文件配置 •集群连接信息配置 •开发演示 2.实现 Flume 到 Kafka 模块 实现 Flume 到 Kafka 阅读全文

posted @ 2018-10-13 21:57 pony1223 阅读(366) 评论(0) 推荐(0) 编辑

五、Kafka 用户日志上报实时统计之 应用概述

摘要: 一、kafka 回顾 1.简介 Kafka 的业务 业务场景: 解除耦合 增加冗余 提高可扩展性 Buffering 异步通信 2.介绍 Kafka 的应用场景 Push Message Website Tracking 日志收集中心 3.实时统计平台搭建注意事项 实时统计平台搭建注意事项: HA特 阅读全文

posted @ 2018-10-13 21:56 pony1223 阅读(539) 评论(0) 推荐(0) 编辑

四、Kafka 核心源码剖析

摘要: 一、Kafka消费者源码介绍 1.分区消费模式源码介绍 分区消费模式直接由客户端(任何高级语言编写)使用Kafka提供的协议向服务器发送RPC请求获取数据,服务器接受到客户端的RPC请求后,将数据构造成RPC响应,返回给客户端,客户端解析相应的RPC响应获取数据。Kafka支持的协议众多,使用比较重 阅读全文

posted @ 2018-10-13 09:45 pony1223 阅读(7813) 评论(0) 推荐(1) 编辑

2018年10月10日

三、消息处理过程与集群维护

摘要: 一、Kafka消息组织原理 1.磁盘重认识 当需要从磁盘读取数据时,要确定读的数据在哪个磁道,哪个扇区:首先必须找到柱面,即磁头需要移动对准相应磁道,这个过程叫做寻道,所耗费时间叫做寻道时间;然后目标扇区旋转到磁头下,这个过程耗费的时间叫做旋转时间;一次访盘请求(读/写)完成过程由三个动作组成寻道( 阅读全文

posted @ 2018-10-10 22:10 pony1223 阅读(777) 评论(0) 推荐(1) 编辑

上一页 1 2 3 4 5 6 7 8 9 ··· 26 下一页

导航