摘要: 1、Map阶段 增大缓冲区的大小:默认100M,可以改为200 增大缓冲区的溢写百分比:默认0.8,可以改为0.9 减少溢写文件的merge次数 采用combiner提前预聚合,减少IO。(不影响业务逻辑的前提下,只能加减,不能做乘除等复杂聚合) 2、Reduce阶段 合理设置map和reduce数 阅读全文
posted @ 2020-08-11 17:43 hyunbar 阅读(280) 评论(0) 推荐(0) 编辑
摘要: 1、Flink参数配置 jobmanger.rpc.address:jobmanger的地址 jobmanger.rpc.port:jobmanger的端口 jobmanager.heap.mb:jobmanager的堆内存大小。不建议配的太大,1-2G足够。 taskmanager.heap.mb 阅读全文
posted @ 2020-08-11 09:19 hyunbar 阅读(8258) 评论(3) 推荐(0) 编辑