摘要: 一、Shuffle优化项 1、Shuffle优化配置 - spark.shuffle.file.buffer 默认值:32k 参数说明:该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前,会先写入buffer缓冲 阅读全文
posted @ 2020-03-24 23:04 夜半钟声到客船 阅读(304) 评论(0) 推荐(0) 编辑
摘要: 1.线程安全问题的原因 因为 Java 中对静态变量的自增,自减并不是原子操作,要彻底理解,必须从字节码来进行分析 例如对于 i++ 而言(i 为静态变量),实际会产生如下的 JVM 字节码指令: 2.临界区 Critical Section 一个程序运行多个线程本身是没有问题的 问题出在多个线程访 阅读全文
posted @ 2020-03-24 21:53 夜半钟声到客船 阅读(375) 评论(0) 推荐(0) 编辑