Kafka云服务器分别配置内外网访问
1. 现象及问题排查
有一天突然发现实时报表数据没有跟着刷新,我们就开始排查,发现kafka那个topic新增了很多数据,而消费者组确只消费了10分之一左右,这让我们感到差异。故开始排查,首先在服务器上使用命令行的形式去消费,用内网和外网都做了尝试,发现消费速度一如既往的稳定(慢)。
我们基本上可以确定我们指定内网ip,同样是使用外网访问。我们咨询了运维同事,发现kafka服务器的外网带宽限制在了5M,与我们猜想的一致。
2. 原先的配置
listeners=PLAINTEXT://内网IP:9092 advertised.listeners=PLAINTEXT://外网ip:9092
3. 内外网访问配置
listeners=PLAINTEXT://内网iP:9092,EXTERNAL://内网iP:9093 advertised.listeners=PLAINTEXT://内网iP:9092,EXTERNAL://外网iP:9093
说明:通过内网访问使用9092端口,通过外网访问使用9093端口