有偏估计和无偏估计
摘要：
无偏和有偏 本质来讲，无偏/无偏估计是指估算统计量的公式，无偏估计就是可以预见，多次采样计算的统计量（根据估算公式获得）是在真实值左右两边。类似于正态分布的钟型图形。比如对于均值估计： mean = (1/n)Σxi 一定有的比μ大，有的比μ小。 那么对于有偏估计，就是多次采样，估算的统计量将会在真 阅读全文
posted @ 2020-01-19 13:17 下士闻道 阅读(9297) 评论(0) 推荐(0) 编辑
Spark Shuffle
摘要：
Shuffle基本流程 spark shuffle从总体来讲分成两部分，shuffle write和shuffle reader，如下图所示，看到这里，就明白了为什么spark性能优化的时候建议宁可broadcast也不要shuffle，broadcast好歹还是内存操作，网络上大一点压力（每个节点 阅读全文
posted @ 2020-01-19 08:17 下士闻道 阅读(933) 评论(0) 推荐(0) 编辑
