侧边栏

FusionInsight大数据开发---Kafka应用开发

Kafka应用开发

  1. 了解Kafka应用开发适用场景
  2. 熟悉Kafka应用开发流程
  3. 熟悉并使用Kafka常用API
  4. 进行Kafka应用开发

 

Kafka的定义

Kafka是一个高吞吐、分布式、基于发布订阅的消息系统
Kafka有如下几个特点:

  1. 高吞吐量
  2. 消息持久化到磁盘
  3. 分布式系统易扩展
  4. 容错性好

Kafka的适用场景

  1. 适用于离线和在线的消息消费
  2. 已对接组件
  3. Streaming、Spark、Flume

使用Kafka的好处

  • 解耦--使得消息生产、消费系统能够独立变更
  • 可靠--有效解决单点故障引发系统不可用问题
  • 易扩展--生产、消费系统扩展简单
  • 可恢复--消息缓存下来,支持故障从故障点读取
  • 异步通信--生产系统无需关心消费系统的消费时间

配置及开发准备--配置keytab文件到样例工程

  1. 配置Keytab到工程
  2. 安全认证
  3. Topic订阅
  4. 消费获取
  5. 消费处理

Kafka常用接口

  • Kafka集群安全访问端口默认为21007,非安全访问端口默认为21005

Kafka Producer接口

  1.  向管理员申请目标Topic的生产者权限
  2.  根据业务需求,配置发送相关配置参数
  3.  调用新Producer API接口发送数据

Kafka Consumer接口

    1. 向管理员申请目标Topic的消费者权限
    2. 根据业务需求,配置消费者相关配置参数
    3. 调用新Consumer API接口进行消息消费
posted @ 2019-07-26 17:12  菜鸟-传奇  阅读(678)  评论(0编辑  收藏  举报