摘要: 一、Producer整体架构 Kafka Producer端的架构整体也是一个生产者-消费者模式 Producer线程调用send时,只是将数据序列化后放入对应TopicPartition的Deque尾部的ProducerBatch数据结构中 Sender线程每次扫描所有Deque的尾部,得到需要发 阅读全文
posted @ 2020-08-22 15:20 nlskyfree 阅读(361) 评论(0) 推荐(0) 编辑
摘要: 一、jps 命令 效果 demo jps 显示所有jvm进程,常用jps | grep 查看指定进程是否存在 jps -l 显示所有jvm进程与进程启动类全路径名 jps -v 显示所有jvm进程与进程启动的所有jvm配置 二、jstat 命令 效果 demo jstat -gcutil PID 1 阅读全文
posted @ 2020-08-22 14:35 nlskyfree 阅读(312) 评论(0) 推荐(0) 编辑
摘要: 摘要: MR是啥:编程模型,用户只需编写Map,Reduce两个函数,系统完成分布式计算 MR系统是啥:在大量普通计算机上实现并行化计算,系统只关心如何分割数据、大规模集群的调度、集群容错、集群通信 MR在Google的并行处理能力:上千台机器上,处理TB级数据 介绍: 问题:海量数据、数据分发、并 阅读全文
posted @ 2020-08-22 11:07 nlskyfree 阅读(841) 评论(0) 推荐(0) 编辑