Kafka集群无法外网访问问题解决攻略

Kafka无法集群外网访问问题解决方法  
讲解本地消费者和生产者无法使用远程Kafka服务器的处理办法

服务搭建好Kafka服务后，机本。测试 OK，外面机器却无法访问，很是怪异。

环境说明：  
Kafka服务器：  
阿里云VPC网络服务器，内网IP：10.10.10.10，绑定的弹性IP（外网IP）XXXX，是单机测试环境，ZK和Kafka都在一台机器上，使用默认端口，kakfa是9092，动物园管理员是2181.kafka版本：kafka_2.11-0.10.1.0

Kafka是默认配置，没有修改：

#listeners=PLAINTEXT://:9092
#advertised.listeners=PLAINTEXT://your.host.name:9092
zookeeper.connect=localhost:2181

测试发现本机，可以正常发布消息，消费消息，但是公司机器不可以。

看日志发现是主机名无法识别，所以最简单的方案就是：  
1，本机绑定主机，即修改/ etc / hosts，添加10.10.10.10主机名到hosts文件。

有没有不需要绑定hosts，更高大上的方案呢？有！  
2，经各种测试后发现，修改kafka的advertised.listeners配置即可：

#listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://x.x.x.x:9092
zookeeper.connect=localhost:2181

成功通过测试，完美解决问题。

关于advertised.listeners这个配置的含义，官网有解释：  
如果不同于上面的监听器，监听器可以发布给ZooKeeper供客户使用。在IaaS环境中，这可能需要与代理绑定的接口不同。如果没有设置，值  listeners 将被使用。  
详情：http：//kafka.apache.org/documentation/#configuration

亲测，有了这个配置，Kafka就会忽略听众配置。

http://blog.csdn.net/fengcai19/article/details/54695874?utm_source=itdadao&utm_medium=referral

 

大数据平台服务器处于两个网络中，其中内部网络用来进行数据交换和计算，配置万兆光纤网卡和光纤交换机;外部网络用来为其他部门提供服务，数据接口，这里使用的是千兆网络.Kafka的经纪人集群处于内部网络中，而外部网络需要订阅消费Kafka中的留数据，就需要访问内网这里我们需要添加接个配置以使Kafka能够通过外网来访问：

我们先来看下Kafka几个参数的解释：

advertised.host.name	主机名发布到ZooKeeper供客户使用。在IaaS环境中，这可能需要与代理绑定的接口不同。如果未设置，则将使用“host.name”的值（如果已配置）。否则，它将使用从java.net.InetAddress.getCanonicalHostName（）返回的值。
主机名	经纪人的主机名。如果这个设置，它只会绑定到这个地址。如果没有设置，它将绑定到所有接口
听众	监听器列表 - 用逗号分隔的URI列表及其协议。指定主机名为0.0.0.0以绑定到所有接口。保留主机名为空以绑定到默认界面。合法侦听器列表的示例：PLAINTEXT：// myhost：9092，TRACE：//：9091 PLAINTEXT：//0.0.0.0：9092，TRACE：// localhost：9093

从官方的解释上，我们可以知道：

1.要使远程客户端和代理通信的时候指向正确的主机那么就需要指定advertised.host.name = bigdata3参数，这里bigdata3需要配置到主机中

2.要使经纪人指向正确的网卡地址，那么我们就需要指定host.name = 192.168.168.3，让代理之间通信使用内部网络

3.另外我们需要配置Kafka监听所有的网卡：listeners= PLAINTEXT：//0.0.0.0：9092

http://www.tuicool.com/articles/ye6Bfi