Kafka 创建的时候只有一个 Topic 的优化
-
在 kafka 的启动配置中修改 num.partitions=2
每一个配置参考文档 https://blog.csdn.net/lizhitao/article/details/25667831 -
python 代码在创建的时候, 将 partion 指定为 10 个
### producer
from kafka.admin import NewTopic
from kafka import KafkaProducer
from kafka.admin import KafkaAdminClient
from kafka.errors import TopicAlreadyExistsError
producer = KafkaProducer(bootstrap_servers=['xxx:9092'])
value = {"type": "test", "value": {"requestNo": "1", "auditStatus": "2", "failReason": "3"}}
bytesDict = bytes('{}'.format(value), 'utf-8')
print(bytesDict)
topic = 'test_topic31'
if __name__ == '__main__':
# 让 kafka 自动化创建 topic, 默认的个数在config/server.properties配置 num.partitions=10
# producer.send(topic, bytesDict)
# producer.close()
# 先创建 topic, 然后指定该 topic 的分区为 10
try:
admin_client = KafkaAdminClient(bootstrap_servers=['xxx:9092'])
admin_client.create_topics([NewTopic(topic, 10, 1)])
except TopicAlreadyExistsError:
pass
producer.send(topic, bytesDict)
producer.close()
### consumer
from kafka import KafkaConsumer
topic = 'test_topic31'
consumer = KafkaConsumer(topic, bootstrap_servers=['xxx:9092'])
if __name__ == '__main__':
for m in consumer:
print(m)
print(m.topic)
先启动消费者, 然后启动生产者, 生产者一旦运行就会去创建一个新的 Topic, 去 kafka 中查看该 Topic 是否真的为10 个
kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic test_topic31
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 使用C#创建一个MCP客户端
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 按钮权限的设计及实现