real-zhouyc

摘要： uplift Tree 和causal tree一样，uplift tree[8]作为一种以分类任务为主的，同样是将因果效应apply到节点分割的标准中。区别是：causal tree：1）使用honest的方法；2) 从effect 的偏差和方差的角度切入指导树的构建，把分类问题转化为回归问题去做 阅读全文

摘要： 广义随机森林 了解causal forest之前，需要先了解其forest实现的载体：GENERALIZED RANDOM FORESTS[6]（GRF) 其是随机森林的一种推广， 经典的随机森林只能去估计label Y，不能用于估计复杂的目标，比如causal effect，Causal Tree 阅读全文

摘要： Tree-Based Algorithms Tree-based这类方法，和之前meta-learning 类的方法最明显的区别是: 这类方法把causal effect 的计算显示的加入了到了树模型节点分裂的标准中 从 response时代过渡到了effect时代。 大量的这类算法基本围绕着树节点 阅读全文

摘要： 什么是LTV 用户生命周期价值(Lifetime Value, LTV)是一个非常重要的指标，定义为单个用户在某种生命周期内(i.e. 从开始使用产品到停止使用期间) 为产品创造的总价值。 比如GMV、XX日内产生的GMV。每个人或者公司对价值的定义不一样，传统市场下，LTV的定义为 在传统的经济学 阅读全文

摘要： 本部分是来自大纲 模型可解释的一个子分支。 部分依赖图可以表示1个或者2个特征对模型的预测结果所能产生的边际效应。同时也能展示1个特征和label直接是否具有：线性相关性、单调性等。 当我们把pdp应用在线性回归上的时候，通过pdp，我们能够计算每个特征与label之间的线性相关性，其公式表述为 \ 阅读全文

摘要： ICE是模型可解释中，作为局部可解释的一个分支。 本质上就对每一个样本，通过改变某个特征取值而观测模型做出的预测变化的方式以解释模型。 阅读全文

摘要： 模型的性能虽然很重要，但是知道我们的模型为什么做出这样或那样的预测也非常重要。为什么模型会预测对？为什么模型会预测错？ 说到模型可解释，就和算法其本身的原理相关的，因此可解释模型的框架基本可以从几个角度入手 可自解释模型 基于样例(Example-based) 局部可解释方法(Local Model 阅读全文

摘要： Kmeans kmeans, 或k-均值聚类是一个不断重复迭代的算法，试图将样本分到k样本不交叉的簇中，划分的过程中，需要尽量的做到“同一个类内的样本离的越近越好，不同类间的样本离得越远越好”。 划分的过程使得类样本的平方和最小（WCSS within-cluster sum of squares） 阅读全文

摘要： 有时候，需要将从json文件读取程序配置设置，并同步到定义好的一些case类中,这个时候可以使用 io.circe解析json文件，并同步文件字段到定义好的case类 case class Config( comment:String, dir:String, executors:Option[In 阅读全文

摘要： def getIQR(df:DataFrame,colName:String):Array[Double]={ val tmpDf = df.withColumn(colName, col(colName).cast(DoubleType)) val stats = tmpDf.stat.appro 阅读全文