数据处理相关

一. kafka 处理增量消息

     kafka 原理介绍:https://www.cnblogs.com/xifenglou/p/7251112.html

                                 https://blog.csdn.net/z69183787/article/details/80325743

     很好的一篇文章:http://www.jasongj.com/2015/01/02/Kafka%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/

     使用场景:

  •       日志收集:一个公司可以用Kafka可以收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consumer,例如hadoop、Hbase、Solr等。
  •     消息系统:解耦和生产者和消费者、缓存消息等。
  •    用户活动跟踪:Kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页、搜索、点击等活动,通常这些活动信息被各个服务器发布到kafka的            topic中,然后订阅者通过订阅这些topic来做实时的监控分析,或者装载到hadoop、数据仓库中做离线分析和挖掘。
  •       运营指标:Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据,生产各种操作的集中反馈,比如报警和报告。
  •       流式处理:比如spark streaming和storm
  •       事件源

 

 

 

 

二. 大数据处理 : storm    flink

 

三. mongo   

 

四. leveldb 

 

五. redis

 

posted @ 2019-03-08 23:36  爱简单的Paul  阅读(161)  评论(0编辑  收藏  举报