摘要：
数据本地性 数据计算尽可能在数据所在的节点上运行，这样可以减少数据在网络上的传输，毕竟移动计算比移动数据代价小很多。进一步看，数据如果在运行节点的内存中，就能够进一步减少磁盘的I/O的传输。在spark中，数据本地性优先级从高到低为PROCESS_LOCAL>NODE_LOCAL>NO_PREF>R 阅读全文
posted @ 2018-08-17 13:26 打杂滴 阅读(4377) 评论(0) 推荐(0) 编辑
posted @ 2018-08-17 13:26 打杂滴 阅读(4377) 评论(0) 推荐(0) 编辑
Copyright © 2024 打杂滴
Powered by .NET 8.0 on Kubernetes