Kafka的Producer以及Consumer远程调用问题

  公司需要分布式的JMS,所以研究了Kafka,之前在本地都没有出现问题,但是在服务器上布Kafka的时候发现了消费者无法消费的问题。

  kafka布到一台服务器上面,由于业务原因,producer和kafka放到一台服务器上面,所以producer发送消息的时候bootrstrap.servers只要配置localhost:port就可以了,但是consumer是在另一台服务器上面,修改了bootstrap.servers为kafka服务器的ip和端口发现还是无法消费。

  出现问题1:kakfa的consumer不报错,但是无法消费。

  解决问题1:在broker配置中加入如下配置

  advertised.host.name=xxx.xx.xx.xx
  advertised.listeners=PLAINTEXT://xxx.xx.xx.xx:port

  配置完了之后发现还是无法消费。

  出现问题2:no route to host

  解决问题2:管理kakfa的zookeeper端口号未暴露在外网,将zookeeper的端口设置成外网可以访问。(具体方法百度,楼主也是百度的,linux不太熟练)

  配置完了之后发现还是无法消费,我去了。

  出现问题3:no route to host

  解决问题3:发现了kafka的端口也需要暴露给consumer,我疏忽了,和问题2同样的方法暴露端口。

  配置完了之后发现还是无法消费,我已经崩溃了。

  出现问题4:MDGG,没有报错,什么错都没有。

  解决问题4:哈哈哈,楼主将consumer配置中的group.id换了一个就可以啦。

  终于可以消费了......

 

  总结:

  1.注意服务器的对外访问的端口是不是可用。

  2.修改broker配置加入advertised等配置信息。

  3.记得修改一下consumer消费者组,如果修改组不行,那么先删除zookeeper的kafka消息记录,然后再还consumer组试试。

  楼主分析修改消费者组就能消费的原因可能是,未修改之前,zookeeper默认还是记得这个消费者组消费的是之前的kafka里面的数据,但是之前的kakfa是本地,所以这个消费者组没有被纠正或者告知你要访问新的kafka服务器,所以在修改为新的消费者组的时候,zookeeper重新记录的消费者的信息,就可以消费新服务器的消息了。

  

  

posted @ 2016-12-27 20:28  名字可以起这么长  阅读(8437)  评论(0编辑  收藏  举报