06 2021 档案

tweedie损失函数
摘要：对于右偏长尾数据进行建模时，使用其他分布的损失函数（如对应高斯分布的MSE损失）效果可能不好。此时可考虑使用基于tweedie分布的损失函数进行建模。 tweedie分布 tweedie分布式是一类特殊的指数衰减模型（exponential disperse model，EDM）。其方差和期望的关系 阅读全文
posted @ 2021-06-18 14:41 zcsh 阅读(2745) 评论(0) 推荐(0) 编辑
【转】spark的shuffle机制
摘要：前言 Spark Shuffle是大众讨论的比较多的话题了。它是Spark任务执行过程中最为重要的过程之一。那么什么是Shuffle呢？ Shuffle一般被翻译成数据混洗，是类MapReduce分布式计算框架独有的机制，也是这类分布式计算框架最重要的执行机制。接下来会按照两个层面来谈谈Shuffl 阅读全文
posted @ 2021-06-02 17:26 zcsh 阅读(284) 评论(0) 推荐(0) 编辑