关于使用kafka时对于大数据消息体是遇到的问题

kafka对于消息体的大小默认为单条最大值是1M. 但是在我们应用场景中, 常常会出现一条消息大于1M, 如果不对kafka进行配置. 则会出现生产者无法将消息推送到kafka或消费者无法去消费kafka里面的数据, 这是我们就要对kafka进行以下配置:

    1. 在consumer.properties配置文件中添加：fetch.message.max.bytes :    每个提取请求中为每个主题分区提取的消息字节数。要大于等于message.max.bytes

    2. 在producer.properties配置文件中添加: max.request.size :    请求的最大大小为字节。要小于 message.max.bytes

    3. 在server.properties配置文件中添加: 

        message.max.bytes :    允许的最大记录批大小

        replica.fetch.max.bytes :    每个分区试图获取的消息字节数。要大于等于message.max.bytes