2019年3月30日
spark sql 技术说明与常见的操作(其一)
摘要： spark sql 性能技术简介: 1,内存列存储(in-memory columnar storage):Spark sql 的数据,不是使用 java 对象的方式来进行存储,而是使用了面向列的方式进行存储。每一列作为一个数据存储的单位，从而大大的优化了内存的使用效率，减少了对内存的消耗,也就避免了gc的大量数据的性能消耗 2,字节码生成技术(byte-core generation... 阅读全文
posted @ 2019-03-30 13:05 十七楼的羊 阅读(512) 评论(0) 推荐(0) 编辑