下士闻道

摘要： 无偏和有偏 本质来讲，无偏/无偏估计是指估算统计量的公式，无偏估计就是可以预见，多次采样计算的统计量（根据估算公式获得）是在真实值左右两边。类似于正态分布的钟型图形。比如对于均值估计： mean = (1/n)Σxi 一定有的比μ大，有的比μ小。 那么对于有偏估计，就是多次采样，估算的统计量将会在真 阅读全文

摘要： Shuffle基本流程 spark shuffle从总体来讲分成两部分，shuffle write和shuffle reader，如下图所示，看到这里，就明白了为什么spark性能优化的时候建议宁可broadcast也不要shuffle，broadcast好歹还是内存操作，网络上大一点压力（每个节点 阅读全文