日志系统之消息队列的应用

kafka的概述

Kakfa是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache顶级开源项目,它使用Scala编写,以可水平扩展和高吞吐率的特性而被广泛使用。

**ps: 通过上述百度百科的概述,只知其然而不知其所以然。 kafka 大家都知道是消息队列,那么笼统的说消息队列是什么? 消息队列是在消息的传输过程中保存消息的容器。那么我们很明确的知道它如何在某个系统中的使用场景。
**

它的使用场景

网络上很多关于kafka的使用场景描述,有对用户延迟发短信的场景、网站活动追踪、流数据处理、日志处理等各种场景。
在这么多场景中,不一 一列举来说明怎么使用,因为本人在实际项目中kafka在日志处理上用的比较多,所以就拿日志处理系统进行kafka的应用与日志系统的业务记录。

使用成果

有了使用场景,我们就要思考使用后的效果,对于小型项目来说,我们通常对日志的处理没有那么多的要求,甚至没有对项目进行日志收集,但是当用户量,数据量达到一定的峰值之后,问题就会随之而来。比如:

  1. 我们需要考虑用户日志怎么存放
  2. 我们需要考虑用户日志存放后怎么利用
  3. 怎么在存储大量级的日志而不对系统造成影响

等很多其他的问题,这样我们就需要借助消息队列进行业务的上解耦,数据上更好的传输。

项目实例

系统日志处理之kafka的使用 : github

  • 项目基本思想已经完成,可以用在学习阶段、参考阶段,欢迎其他开发者参与开源项目的开发,在之后的日子再进行完善与更新。
  • 思想和实例都有了,希望爱学习读者的你给个支持在github中start一下,
    **ps: 请不要 fork ! **

[推荐] 消息队列入门教程

kafka入门教程

作者原网址

消息队列

posted @ 2018-11-15 12:43  ituac  阅读(1439)  评论(0编辑  收藏  举报