2014年11月28日
大数据计算模型使用小结（持续添加）
摘要： MPI 用MPI处理栅格（图像）数据，由于使用MPI过于复杂，因此实现了基于MPI的适用于地理栅格数据处理的并行编程模型，具体参考：一种支持多种并行环境的栅格地理计算并行算子。CUDA 用CUDA处理过图像数据，在带有gpu的普通笔记本上实现了十几倍的加速比。具体参考：多流向算法GPU并行化。M... 阅读全文
posted @ 2014-11-28 23:02 zhanlijun 阅读(928) 评论(0) 推荐(0) 编辑
spark job运行参数优化
摘要： http://www.cnblogs.com/LBSer/p/4129481.html一、问题 使用spark join两张表（5000w*500w）总是出错，报的异常显示是在shuffle阶段。14/11/27 12:05:49 ERROR storage.DiskBlockObjectWri... 阅读全文
posted @ 2014-11-28 22:08 zhanlijun 阅读(5745) 评论(4) 推荐(1) 编辑